搜索引擎爬虫 的标签存档

seo优化
Baiduspider的详细介绍

Baiduspider的详细介绍

对,baiduspider就是我们SEOer口中经常说的百度蜘蛛,有些朋友可能发现baiduspider不止一个,是的。它有很多种,还有冒充的哦,所以我们在查看
新站如何快速收录首页?

新站如何快速收录首页?

新网站上线第一天,如果你看中SEO的话,你的网站首页在百度有没有收录就是一件很重要的事情,那如何才能在当天让百度收录你的首页呢?赵彦刚和你一起聊一下这个问题。
浅析爬虫的不重复抓取策略

浅析爬虫的不重复抓取策略

不重复抓取?有很多初学者可能会觉得。爬虫不是有深度优先和广度优先两种抓取策略吗?你这怎么又多出来一个不重复抓取策略呢?其实我这几天有不止一次听到了有人说要在不同
搜索引擎爬虫可以检测重复率吗

搜索引擎爬虫可以检测重复率吗

此问题,有几个网友在QQ上和我询问,才觉得貌似部分人在这里是存在误区的。那么今天展开来一起讨论下爬虫可以检测重复率吗? 首先,要明确一点,爬虫本身做的工作是在互
怎么识别Baiduspider的真假?

怎么识别Baiduspider的真假?

实际上,我们的日志中,有很多的baiduspider是他人伪装的,要想解决这个问题。我们必须在验证baiduspider真伪上下功夫,这篇文章详细的介绍了爬虫的
搜索引擎爬虫的五大抓取策略

搜索引擎爬虫的五大抓取策略

你是不是只知道深度优先和广度优先两种优先抓取策略呢?这里我为你补上了3个更强大的爬虫优先抓取策略,从中赵彦刚也找到了一些针对SEO的反思,我们一起来看看...