今天，厦门seo联盟在这里给大家介绍一下：什么是网站robots.txt？

我们都知道，搜索引擎来抓取网站内容的工具被称为搜索引擎机器人。而机器人的英文恰巧是robots。为了方便记忆，人们把放在网站根目录下的这个文件起名为robots.txt。

robots.txt文件有什么用处呢？

robots.txt文件实际上是一个规则，这个规则规定了搜索引擎在访问这个网站时哪些页面收录，哪些页面不收录。

搜索引擎规定，在每次访问一个网站时，都会先访问这个网站根目录下的robots.txt文件。如果网站的根目录下没有robots.txt文件，则搜索引擎认为该网站的所有内容都允许收录。

所以，如果你希望搜索引擎收录你网站的所有网页，那么你可以不要上传robots.txt文件，或者上传一个空的robots.txt文件到根目录下。

robots.txt文件的本质就是一个文本文档，其主要代码就是：Disallow。

格式如下：

User-agent: *
Disallow: /index.html
Disallow: /admin.php?
Disallow: /articles/

Disallow: /index.html说明不允许收录index.html这个文件

Disallow: /admin.php?说明不允许收录如admin.php?=12，admin.php?r=124等以admin.php?为前缀的链接

Disallow: /articles/说明不允许收录articles文件夹下的所有内容

更多有关robots.txt的内容可以浏览百度官方解说：http://www.baidu.com/search/robots.html




你可能还会喜欢以下文章：

作者:Squall@厦门seo联盟 厦门seo于2010, 一月 22nd,星期五 修订
厦门seo联盟，争做厦门seo行业的先锋。
本文地址：http://www.seo-union.com/archives/316.html
对此文章有什么疑问，请在下方评论，我们会及时回复您！