搜索引擎基礎(chǔ)
何為搜索引擎?搜索引擎(國外的代表google，國內(nèi)的代表百度)，利用程序在互聯(lián)網(wǎng)上抓取網(wǎng)站信息，把抓取回來的信息進(jìn)行分類整理，供訪問搜索引擎的互聯(lián)網(wǎng)用戶搜索和關(guān)鍵詞相匹配的信息。
比如：您想買一款手機(jī)，您可以直接在搜索引擎中輸入關(guān)鍵詞(諾基亞)，在0.1秒之內(nèi)，搜索引擎會(huì)返回出售諾基亞的網(wǎng)站列表，這個(gè)網(wǎng)站列表是經(jīng)過搜索引擎嚴(yán)格篩選得出的結(jié)果。搜索引擎在給這個(gè)關(guān)鍵詞(諾基亞)進(jìn)行網(wǎng)站排名時(shí)，會(huì)采用自己一套算法，這套算法也是這些搜索引擎公司的絕密文件。
搜索引擎如何抓去信息
搜索引擎初期，由于互聯(lián)網(wǎng)信息并不是很多，所以許多搜索引擎收錄信息完全依靠人力，許多編輯，每天不停的訪問互聯(lián)網(wǎng)的各個(gè)網(wǎng)站，把自己認(rèn)為比較好的網(wǎng)站進(jìn)行收錄。但是隨著互聯(lián)網(wǎng)時(shí)代的到來，互聯(lián)網(wǎng)網(wǎng)站爆炸式增長，人工收錄網(wǎng)站信息已經(jīng)是完全不可能，所以這些搜索引擎就編寫了抓去互聯(lián)網(wǎng)信息的程序，就叫搜索引擎爬蟲，機(jī)器人，或者蜘蛛。
下面筆者以世界著名的google搜索引擎為例，來說一說爬蟲是怎么代替人工收集整理網(wǎng)站信息的(大部分搜索引擎都是按照這種方法來收集信息的)。
更新爬蟲
Google搜索引擎可以同時(shí)派出N多個(gè)爬蟲，同時(shí)訪問互聯(lián)網(wǎng)，如果發(fā)現(xiàn)新的信息就會(huì)放到自己所帶的數(shù)據(jù)庫中，我們把這種爬蟲稱之為“更新爬蟲”。更新爬蟲能夠根據(jù)互聯(lián)網(wǎng)上的URL地址，不停的以“光速”爬行，一旦自己所帶的數(shù)據(jù)庫裝不下更多的信息時(shí)，它們會(huì)返回谷歌所提供的單獨(dú)數(shù)據(jù)庫，把自己所帶的信息扔在里面，然后又出來接著收集信息。
由于更新爬蟲自身所帶的倉庫容量有限(google更新爬蟲應(yīng)該是100KB容量)，所以許多seo建議在制作網(wǎng)站時(shí)，每一個(gè)頁面控制在100KB以內(nèi)。如果網(wǎng)頁大小超過了100KB，剩余的網(wǎng)頁信息，更新爬蟲是無法一次性帶走的。
對于沒有被google主索引收錄的頁面，由于更新爬蟲是和google主索引一起提供搜索結(jié)果的，所以您會(huì)看見自己的網(wǎng)站信息很快出現(xiàn)在搜索結(jié)果中，又很快的消失，直到一段時(shí)間后又在google主索引中出現(xiàn)。
對于已經(jīng)被google主索引收的頁面，刷新爬蟲取得這個(gè)頁面的更新后，關(guān)于該頁面的更新會(huì)出現(xiàn)在搜索結(jié)果中，但是過幾天該頁面的更新會(huì)退回到?jīng)]有更新之前，直到深度爬蟲進(jìn)行深度爬行之后，更新的頁面就會(huì)完全被顯示出來。
深度爬蟲
深度爬蟲的主要任務(wù)是訪問google主索引中已經(jīng)存在的網(wǎng)站，進(jìn)行整體的服務(wù)器更新，目前google深度爬蟲幾乎可以每天更新一次，所以如果不注意觀察是根本察覺不到的。但是百度深度爬蟲的時(shí)間就要長一點(diǎn)，大概是一周進(jìn)行深度爬行一次，所以許多做百度的seo，都盼望百度深度爬行，因?yàn)榘俣壬疃扰佬校鸵馕吨?，自己的上一周的工作將被百度肯定?/p>
今日回顧
更新爬蟲每天都在互聯(lián)網(wǎng)上忙碌，力求收集更多更新的網(wǎng)站信息，在收集信息時(shí)，由于更新爬蟲自身所帶的數(shù)據(jù)存儲(chǔ)量的限制，所以更新爬蟲不能完全帶走超過自身數(shù)據(jù)限制的網(wǎng)頁內(nèi)容，這也是許多seo為什么要把網(wǎng)頁壓縮到最小的原因。
深度爬蟲訪問搜索引擎主索引之后，就意味著，網(wǎng)站關(guān)鍵詞排名的大調(diào)整，只有經(jīng)過深度爬蟲更新后的搜索結(jié)果才能算是基本穩(wěn)定的搜索結(jié)果。
聯(lián)系客服
