robots.txt文件

我们在建设网站的过程中，会有一些内容不希望搜索引擎抓取到（不希望被蜘蛛爬行到）或是不希望在互联网上出现，那么这一部分的内容我们应该怎么办那？这个时候robots就派上场了。

Robots.txt是放在网站的根目录下，用于存放网站文件目录的内容，规定搜索引擎对网站内容抓取范围的文本文件。

但是我们需要注意的几点：

1.robots.txt必须存放在网站的根目录下。

2.其命名必须为robots.txt

3.Robots.txt是搜索引擎访问网站的第一个页面

4.Robots.txt中必须指明user-agent

以上是关于什么是robots的说明。