搜索引擎工作原理

1、 搜索引擎释放网络蜘蛛spider，spider先检查开放目录DMOZ上登录网站网址进行访问，并根据收录的网站的外部链接找到更多的网站（外连接，对于二级域名spider等同于外部连接。）根据网站的的更新频率及权重级别，安排spider的搜索频率。对于新站，google进入sandbox处理。对于站内的连接（内连接），（google）根据网站的pr值，计算出搜索深度，检查收入的页面中获取的的网址是否更新,有则收录新的网址，无则关闭spider。Baidu及yahoo则根据自己的算法，收录访问深度内的网址。

2、 搜索引擎读取spider收集的网址库，按照网址收录优先规则，调度爬虫crawler。Google对于提交了 sitemap的网站，抓取深层次的页面。

3、 搜索引擎释放 crawler抓取网址页面

4、 收录网站为中文网站根据分词技术进行关键字索引，按照

页面的权重进行排位。

5、 进行反作弊spam kill和dance（google）