??
百度蜘蛛抓取建庫是個極其復雜的系統(tǒng)工程，光是抓取系統(tǒng)就分為鏈接存儲系統(tǒng)、鏈接選取系統(tǒng)、DNS解析服務系統(tǒng)、抓取調度系統(tǒng)、網(wǎng)頁分析系統(tǒng)、鏈接提取系統(tǒng)、鏈接分析系統(tǒng)、網(wǎng)頁存儲系統(tǒng)。
如果不好理解的話，你可以理解為一個抓取程序，分為以上幾個功能模塊，功能相互配合完成抓取程序，我個人分析，根據(jù)百度蜘蛛的情況來看，目前百度抓取的IP段在220,116段，116開頭IP在于陽泉（李彥宏老家），因此我們不妨推測出這樣一個觀點，我們看到一個個的蜘蛛IP，就是對應的這些電腦主機，而這些電腦上就裝著抓取程序。
二、spider抓取指標
我們按照蜘蛛抓取流程來說，一個蜘蛛爬到網(wǎng)站后，首先去訪問robots.txt的協(xié)議文件，遵循協(xié)議中的規(guī)則，該爬哪里不該爬哪里，然后通過抓取后通過抓取返回碼去做下一步動作，比如抓取a.com/123.html，返回碼是404，那么此條信息就告訴百度這條信息已經(jīng)失效，如果此條已收錄，就從庫中刪除，同時蜘蛛再次訪問url也不會抓取此鏈接。在百度蜘蛛抓取的過程中，如果你實時監(jiān)測蜘蛛的時間就會發(fā)現(xiàn)一點，有的站內蜘蛛爬取很頻繁，有的站內很久才有蜘蛛訪問，造成這種結果有兩個原因，一個是百度服務器任務處理采取分布式處理，所以蜘蛛抓取通道有阻塞，因此有時間上的差異，排除通道阻塞，站內內容多少和外鏈引入蜘蛛也是一個影響蜘蛛爬取的一個關鍵因素。
spider在抓取頁面過程需判斷頁面是否抓取，沒有抓取就會被放到抓取序列中處理，已抓取就會對比庫中是否有同樣并歸一處理。
在公認的spider指標中，有四大指標：
1、網(wǎng)站更新頻率，更新快多來，更新慢少來，這也是為什么很多站一天更新上萬篇的原因，一定程度上可以直接提高收錄幾率。
2、網(wǎng)站內容質量高低。優(yōu)質內容爬取頻繁，低不爬或少爬。什么是優(yōu)質內容？之前一篇文章有提到過。
3、服務器穩(wěn)定、不卡頓和打開流暢。
4、站點評級。（已實錘不是權重，而是更高級的站點評級）評級是動態(tài)參數(shù)，是配合其他因子進行算法計算到閾值變化的變量。評級會影響網(wǎng)站的收錄和排序。
