搜索引擎是通過一種特定規律的軟件跟蹤網頁的鏈接,從一個鏈接上爬到另外一個鏈接,像蜘蛛在蜘蛛網上爬行一樣,所以被稱為“蜘蛛”也被稱為“機器人”。搜索引擎蜘蛛的爬行是被輸入了一定的規則的,需要遵從些命或文件的內容。
第二步:抓取存儲
搜索引擎是通過蜘蛛跟蹤鏈接爬行到網頁,并將爬行的數據存入原始頁面數據庫。其中的頁面數據與用戶瀏覽器得到的HTML是完全樣的。搜索引擎蜘蛛在抓取頁面時,也做一定的重 復內容檢測,一旦遇到權重很低的網站上有大量抄襲、采集或者復制的內容,很可能就不再爬行。
第三步:預處理
搜索引擎將蜘蛛抓取回來的頁面,進行各種步驟的預處理。
第四步:排名
用戶在搜索框輸入關鍵詞后,排名程序調用索引庫數據,計算排名顯示給用戶,排名過程與用戶直接互動的。但是,由于搜索引擎的數據量龐大,雖然能達到每日都有小的更新,但是一般情況搜索引擎的排名規則都是根據日、周、月階段性不同幅度的更新。








