nofollow和robots有什么区别

nofollow和robots都有禁止让搜索引擎抓取的含义，很多人总把nofollow和robots搞混淆了，下面就来说说nofollow和robots有什么区别？

在实际优化工作之中，我们经常会遇到一个页面我们不想其被搜索引擎收录的情况，在这种情况下，使用robots非常便捷，一劳永逸。因为你只要在robots中对该页面设置了屏蔽抓取以后，不管你的这个页面在网站中出现了多少次，，都不会被爬虫抓取以及收录；而如果这种情况下使用nofollow标签来进行屏蔽的话，你会发现网站维护起来会异常麻烦，因为网站中的新页面难免会有该链接，生成新的页面都要加一次nofollow标签，一旦有一次遗漏了，就很有可能会被搜索引擎给收录了。还有一种情况则相反，有一个页面我们希望它正常被收录获得排名，但是因为有的页面中关于此链接的重复链接太多了，会造成不好的影响，这时候就不适合用robots来屏蔽了，而是应该使用nofollow标签对部分重复链接进行屏蔽。

nofollow针对的是访问路径进行屏蔽，挡住百度蜘蛛等爬虫的去路，而robots如同一个平台，我们在这个平台上对网站中的部分页面进行登记过了，以后但凡遇到这个链接页面，你都不要再多管了。这里需要注意的是，robots只针对站内页面有效，不能屏蔽站外的链接，而nofollow没有这个限制，这也是nofollow和robots比较重要的一个区别。

robots不仅可以屏蔽站内的页面还可以屏蔽特定蜘蛛及其他网站爬虫程序的访问。比如有的时候，可能你的网站带宽较小，而在网站日志中看到某个没有用处的蜘蛛频繁性地访问你网站，从而让服务器过于拥挤以至崩溃，这时就可以利用robots限制其访问权限。除了可以限制爬虫的访问权限以外，还可以在robots中载明sitemap地址，更有利于蜘蛛注意到sitemap并且快速抓取网站的新内容以及更新的页面。