网站没有设置robots对SEO优化有影响吗？

相信大家都知道，机会永远是留给有准备的人，网站只有做好充分的之后才能取得非常好的排名，如果网站在没有做好之前，可以禁止搜索引擎爬取。然后可以做到厚积薄发，就需要SEO提前布置好robots文件。

网站没有设置robots对SEO优化有什么影响

网站没有设置robots对SEO优化有什么影响？

网站上线之前必须要用指令禁止所有蜘蛛抓取

User-agent: *

Disallow: /

如果没有使用指令，那么很可能就会被搜索引擎收录一些测试页面，导致网站死在起点上。

robots的作用就是为了控制蜘蛛的爬向，合理的分配蜘蛛资源，对于不需要蜘蛛抓取的页面最好全部禁止掉。

robots对于SEO还有一个非常重要的作用，那就是对于404页面的处理，当网站运营到一定程度之后，肯定会有很多的死链。这时候我们在robots当中提交404页面，就能让蜘蛛避开404页面。

附上robots文件的书写规范：

robots文件中应同时包含2个域，“User-agent:”和“Disallow:”，其中User-agent:代表允许、 Disallow: 代表禁止。每条指令独立一行。并且User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。