ROBOTS怎么写?ROBOTS禁止收录写法、详细说明

2018-01-17 10:01:22 504
摘要:对于新手朋友来说,不太清楚robots该如何书写不会错,robots对网站内的优化又是非常重要的,今天就为大家简单讲解下robots的正确写法。
对于新手朋友来说,不太清楚robots该如何书写不会错,robots对网站内的优化又是非常重要的,今天就为大家简单讲解下robots的正确写法。(以下内容本着实用易懂的目的出发描述)

robots禁止收录写法

这里蔡江先把几种常用的写出来,后面再讲每一句的含义:

禁止所有搜索引擎抓取: User-agent: *
Disallow: / 禁止百度蜘蛛抓取: User-agent: baiduspider
Disallow: / 允许百度抓取,禁止谷歌抓取: User-agent: *
Allow: /
User-agent: baiduspider
Allow: /
User-agent: Googlebot
Disallow: /

聪明的朋友可能已经看出来了改如何写robots了。没看明白的不着急,请看下文

robots是一行或多行User-agent开始,后面跟上多个Disallow和Allow行,参照上面案例

User-agent: 后面跟搜索引擎机器人的名字

Disallow: (不可以被抓取)

Allow: (可以被抓取)

注:robots所有属性后面都要加 一个空格。例如:Allow: xxx,冒号的后面一定要有一个空格(半角下的空格)

下面重点说下百度蜘蛛的通配符:
Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
"$" 匹配行结束符。
"*" 匹配0或多个任意字符。

附上我的站点的robots,我用的织梦:

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /index.php
Disallow: /member
Disallow: /plus/vote

检查robots是否书写正确

注:写robots要严格按照规则来写,不然写出来的是无效的。写好之后可以到百度站长平台robots更新一下,检查robots是否书写正确。另外robots中还可以加入网站地图sitemap,有些人认为这不安全,写到里面容易被人轻松获得了网站的链接。我认为真正有人想采集网站的文章,不是知道网站地图与否能够阻挡的了的。所以robots中大可以申明网站地图的链接。

你觉得这篇文章怎么样?

57 0
扫描二维码与小二CMS创始人沟通

7*24小时为您服务

小二CMS专注于高端网站定制、系统开发、商城开发、外贸网站建设、公众号开发、小程序开发、网站优化推广、安全运维等技术领域。是高端定制网站领域著名服务商!

本文标题:ROBOTS怎么写?ROBOTS禁止收录写法、详细说明
免责声明:文章《ROBOTS怎么写?ROBOTS禁止收录写法、详细说明》来至网络,文章表达观点不代表本站观点,文章版权属于原作者所有,若有侵权,请联系本站站长处理!
不忘初心,方得始终
中高端网站定制开发服务商
与我们取得联系
198-1095-0281 460623785

好作品自己会说话,

我们敬畏您给予的点滴信任 !

期待携手合作,请立即咨询我们:
QQ咨询
微信咨询
198-1095-0281
我们用心,期待您成为我们的客户
联系QQ客服

QQ扫码联系客服

联系微信客服

微信扫码联系客服

微信号: 198-1095-0281
添加微信好友, 详细咨询相关信息。

复制并跳转微信
19810950281