最近一直在思考一个问题:我们为什么需要搜索引擎?我们从搜索引擎那里得到了什么?记得我刚接触网络的时候只知道上网需要点桌面的上大写的e,那时候好像没有什么网站导航之类的网站,网吧里默认的浏览器主页是网易,于是就在网易的主页上面点来点去,偶尔点到外链跑到其他网站,不过当时网易的外链不是很多,所以大部分时间都停留在网易主页上面,人家提供什么信息我就看什么信息,这就是web1.0的时代吧。
后来知道了什么是搜索引擎,可以通过搜索关键字来得到自己想了解的信息。搜索引擎发展至今,主要还是以不停的检索网站并在用户提交搜索需求时将之前检索到的内容反馈给用户的方式运作。不同的搜索引擎只是在索引的算法上不同,比如现在世界上的大型搜索引擎如Google、百度、Yahoo等。
在搜索引擎的数据库中没有文章的全文只有一个简单的标题或摘要,没有音乐,没有图像,没有视频,唯一拥有的是这些信息的连接,我们只能通过点击链接才能获取到我们想得到的信息。现在世界上的网站不计其数,而且每天还在继续增长,那么搜索引擎就得去更新这些网站,像google这样世界最大的搜索引擎对大型网站抓取时间很短,时效性很好,但是对于一些小网站抓取的时间就稍长一些,google这方面做的很好就是根据网站的质量来决定抓取的时间,既保证的了信息更新的即时,又避免了把资源浪费在一些无用信息上。而新的信息是无穷无尽的,且大部分来自个人或者小团体,搜索引擎很难保证抓取这些最新的信息。