Robots.txt 写法教程指南

2014-01-15seoxiaoyi 的分享   加三联MM小编微信好友:sanlian2018

  搜索引擎Robots协议,是放置在网站根目录下robots.txt文本文件,在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。下面Seoer惜缘举例robots写法规则与含义:

  首先要创建一个robots.txt文本文件,放置网站的根目录下,下面就开始编辑设置Robots协议文件:

  一、允许所有搜索引擎蜘蛛抓取所以目录文件,如果文件无内容,也表示允许所有的蜘蛛访问,设置代码如下:

  User-agent: *

  Disallow:

  或者

  User-agent: *

  Allow: /

  二、禁止某个搜索引擎蜘蛛抓取目录文件,设置代码如下:
   
        User-agent: Msnbot
       Disallow: /
 

  User-agent: Msnbot

  Disallow: /

  例如想禁止MSN的蜘蛛抓取就设为,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更换蜘蛛名字即可,其他蜘蛛名字如下:

  百度的蜘蛛:baiduspider

  Google的蜘蛛: Googlebot

  腾讯Soso:Sosospider

  Yahoo的蜘蛛:Yahoo Slurp

  Msn的蜘蛛:Msnbot

  Altavista的蜘蛛:Scooter

  Lycos的蜘蛛: Lycos_Spider_(T-Rex)

  三、禁止某个目录被搜索引擎蜘蛛抓取,设置代码如下:

  User-agent: *

  Disallow: /目录名字1/

  Disallow: /目录名字2/

  Disallow: /目录名字3/

  把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取,目录名字未写表示可以被搜索引擎抓取。

  四、禁止某个目录被某个搜索引擎蜘蛛抓取,设置代码如下:

  User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)Disallow: /目录名字/ 说明(这里设定禁止蜘蛛抓取的目录名称)例如,想禁目Msn蜘蛛抓取admin文件夹,可以设代码如下:

  User-agent: Msnbot

  Disallow: /admin/

  五、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取,设置代码如下:

  User-agent: *

  Disallow: /*.htm 说明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

  六、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取,设置代码如下:

  User-agent: *

  Allow: .htm$ 说明(其中“.htm”,表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

  七、只充许某个搜索引擎蜘蛛抓取目录文件,设置代码如下:

  User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)

  Disallow:

  以上文章是对于Robots.txt文件写法的具体说明教程,我们都知道做哈网站优化工作,Robots.txt 学习就是我们的必修课。如果你是正在学习的seo新手,想学习更多关于seo知识,苦于找寻不到好的资料,可以到http://www.seoxiaoyi.com  我们一起交流 共同进步

分享网友

昵称:seoxiaoyiTA的收藏