Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。
自动生成方式:

站长工具 > robots文件生成:http://tool.chinaz.com/robots/
使用方法:

robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。
例如:如果您的网站地址是 http://www.yourdomain.com/ 那么,该文件必须能够通过 http://www.yourdomain.com/robots.txt 打开并看到里面的内容。

格式:
User-agent:
用于描述搜索引擎蜘蛛的名字,在" Robots.txt "文件中,如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在" Robots.txt "文件中,"User-agent:*"这样的记录只能有一条。

Disallow:
用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被Robot访问到。


robots.txt 样例代码

例1. 禁止所有搜索引擎访问网站的任何部分

User-agent:
Disallow: /

例2. 允许所有的搜索引擎访问网站的任何部分

User-agent:
Disallow:

例3. 仅禁止Baiduspider访问您的网站

User-agent: Baiduspider  
Disallow: /  

例4. 仅允许Baiduspider访问您的网站

User-agent: Baiduspider  
Disallow:  

例5. 禁止spider访问特定目录

User-agent: *  
Disallow: /cgi-bin/  
Disallow: /tmp/  
Disallow: /data/

注意事项:

  • 三个目录要分别写。
  • 请注意最后要带斜杠。
  • 带斜杠与不带斜杠的区别。

例6. 允许访问特定目录中的部分url
实现a目录下只有b.htm允许访问

User-agent: *  
Allow: /a/b.htm  
Disallow: /a/