Robot.txt用法！

在进行SEO操作的时候，我们需要告诉搜索引擎哪些页面重要哪些页面不重要，重要的页面让蜘蛛进行抓取，不重要的页面进行屏蔽可以减少网站服务器的负担。

本日小编要分享的内容便是文件优化。做网站优化的人应当都晓得Robots.txt吧，咱们能够经由过程它间接与搜刮引擎蜘蛛对话，奉告蜘蛛哪些内容能够抓取，哪些内容不克不及抓取。这和咱们本日要说的文件优化相干。

一、站内优化

Robot.txt用法详解及robot.txt题目汇总

(1)为何配置Robots.txt?

在举行搜索引擎优化操纵的时间，咱们需求奉告搜刮引擎哪些页面首要哪些页面不重要，首要的页面让蜘蛛举行抓取，不重要的页面举行屏障能够缩小网站服务器的担负。

(2)一些罕见的题目和知识点

蜘蛛在发明一个网站的时间，是抓取网站的Robots.txt文件(当然民间上是这么说的，有时候也会涌现不遵照的情形);

倡议所有的网站都要配置Robots.txt文件，假如你觉得网站上所有内容都是首要的，你能够创建一个空的robots.txt文件;

(3)在robots.txt文件中配置网站舆图

你能够在robots.txt中增添网站的舆图，奉告蜘蛛网站舆图地点的地点。

(4)Robots.txt的次第

在蜘蛛和谈中，Disallow与Allow是有次第的，这是一个异常首要的题目，假如配置谬误可能会致使抓取谬误。

引擎蜘蛛步伐会依据个立室胜利的Allow或Disallow行肯定是不是造访某个URL，一个例子能够让你更清晰分明：

User-agent:*2.Allow:/seojc/bbs3.Disallow:/seojc/这个情况下，蜘蛛/seojc/bbs目次能够失常抓取，但/seojc/目次的文件无奈抓取。经由过程这类体式格局能够同意蜘蛛造访特定目次中的部份url。

咱们对换下地位视察一下。

User-agent:*2.Disallow:/根目录下的文件夹/3.Allow:/seojc/bbs/seojc/目次涌现外行，阻止抓取目录下的所有文件，那末第二行的Allow就有效，由于行中曾经阻止抓取seojc目录下的所有文件，而bbs目次恰好位于seowhy目录下。是以立室不成功。

(5)Robots.txt门路题目

在蜘蛛和谈中，Allow和Disallow背面能够跟两种门路方式，即链接、相对于链接。链接便是残缺的URL方式，而相对于链接只针对根目录。这是记着。

(6)斜杠题目

Disallow:/seojc暗示阻止抓取seoic这个目录下的所有文件，如:seojc.1.html、seojc/rmjc.php都不同意抓取;

Disallow:/seojc/暗示阻止抓取seojc这个目录下的文件，即同意抓取seojc.1.html，然则不允许抓取seojc/rmjc.php。