人工录入的种子网站.

广度优先搜索

在深度优先搜索算法中,是深度越大的结点越先得到扩展.如果在搜索中把算法改为按结点的层次进行搜索, 本层的结点没有搜索处理完时,不能对下层结点进行处理,即深度越小的结点越先得到扩展,也就是说先产生 的结点先得以扩展处理,这种搜索算法称为广度优先搜索法.

在深度优先搜索算法中,是深度越大的结点越先得到扩展.如果在搜索中把算法改为按结点的层次进行搜索, 本层的结点没有搜索处理完时,不能对下层结点进行处理,即深度越小的结点越先得到扩展,也就是说先产生 的结点先得以扩展处理,这种搜索算法称为广度优先搜索法.

吸引蜘蛛

哪些页面被认为比较重要呢?有几方面影响因素:

· 网站和页面权重.质量高、资格老的网站被认为权重比较高,这种网站上的页面被爬行的深度也会比较高,所以会有更多内页被收录.

· 页面更新度.蜘蛛每次爬行都会把页面数据存储起来.如果第二次爬行发现页面与第一次收录的完全一样,说明页面没有更新,蜘蛛也就没有必要经常抓取.如果页面内容经常更新,蜘蛛就会更加频繁地访问这种页面,页面上出现的新链接,也自然会被蜘蛛更快跟踪,抓取新页面.

· 导入链接.无论是外部链接还是同一个网站的内部链接,要被蜘蛛抓取就必须有导入链接进入页面,否则蜘蛛根本没有机会知道页面的存在.高质量的导入链接也经常使页面上的导出链接被爬行深度增加.一般来说网站上权重最高的是首页,大部分外部链接是指向首页,蜘蛛访问最频繁的也是首页.离首页点击距离越近,页面权重越高,被蜘蛛爬行的机会也越大.

地址库

为了避免重复爬行和抓取网址,搜索引擎会建立一个地址库,记录已经被发现还没有抓取的页面,以及已经被抓取的页面.地址库中的uRL有几个来源:

(1)人工录入的种子网站.

(2)蜘蛛抓取页面后,从HTML中解析出新的链接uRL,与地址库中的数据进行对比,如果是地址库中没有的网址,就存入待访问地址库.

(3)站长通过搜索引擎网页提交表格提交进来的网址.

蜘蛛按重要性从待访问地址库中提取uRL,访问并抓取页面,然后把这个uRL从待访问地址库中删除,放进已访问地址库中.

大部分主流搜索引擎都提供一个表格,让站长提交网址.不过这些提交来的网址都只是存入地址库而已,是否收录还要看页面重要性如何.搜索引擎所收录的绝大部分页面是蜘蛛自己跟踪链接得到的.可以说提交页面基本t是毫无用处的,搜索引擎更喜欢自己沿着链接发现新页面.

文件存储搜索引擎蜘蛛抓取的数据存入原始页面数据库.其中的页面数据与用户浏览器得到的HTML是完全一样的.每个uRI,都有一个独特的文件编号.