??
具權(quán)威性、權(quán)重高的老網(wǎng)站享受Vip級的待遇，這類網(wǎng)站抓取頻率高、抓取頁面多、爬行深度高、收錄頁面也相對較多，就是如此的差別對待。
2.網(wǎng)站服務(wù)器
網(wǎng)站服務(wù)器是訪問網(wǎng)站的基石，長時間打不開相當于敲很久的門，遲遲沒人應(yīng)一樣，訪問者就會因為無法訪問而相繼離開。蜘蛛訪問也是訪客之一，若是服務(wù)器不穩(wěn)定，蜘蛛每次進頁面抓取時都受到阻礙，蜘蛛對網(wǎng)站的印象就會越來越差，導致評分降低自然排名就靠后了。
3.網(wǎng)站的更新頻率
網(wǎng)站內(nèi)容經(jīng)常更新，會吸引蜘蛛更加頻繁的到訪，有規(guī)律的進行文章更新，蜘蛛就會有規(guī)律的到訪。蜘蛛每次爬行都把頁面數(shù)據(jù)存儲到庫了，經(jīng)過分析后收錄頁面。若蜘蛛每次爬，發(fā)現(xiàn)都與收錄的內(nèi)容完全一樣，蜘蛛就會對網(wǎng)站有所判斷，從而減少對網(wǎng)站的抓取。
4.文章的原創(chuàng)性
蜘蛛存在的根本目的是尋找有價值的“新”東西，故原創(chuàng)的優(yōu)質(zhì)內(nèi)容對蜘蛛的引誘力是無比巨大的。若能得到蜘蛛的喜歡，自然對網(wǎng)站貼上“優(yōu)秀”的標簽，經(jīng)常性地爬網(wǎng)站。
5.扁平化網(wǎng)站結(jié)構(gòu)
蜘蛛抓取有自己的規(guī)律，若是隱藏太深會造成蜘蛛找不到通往的路，爬取程序是個直白的東西，所以網(wǎng)站結(jié)構(gòu)不要建設(shè)得太過復雜。
6.網(wǎng)站程序
在網(wǎng)站建設(shè)中，程序可以生產(chǎn)大量的頁面，頁面一般通過參數(shù)來實現(xiàn)，務(wù)必保證一個頁面對應(yīng)一個URL，否則會造成內(nèi)容大量重復，影響蜘蛛抓取。若出現(xiàn)一個頁面對應(yīng)很多URL，盡量通過301重定向、Canonical標簽或者robots進行處理，保證只有一個標準URL被蜘蛛抓取。
7.外鏈建設(shè)
對于新站，在網(wǎng)站建設(shè)初期，相對流量少，蜘蛛光顧也少。外鏈可以增加網(wǎng)站頁面的曝光股，能增加蜘蛛的爬取，但需要注意的是外鏈引用的質(zhì)量。
8.內(nèi)鏈建設(shè)
蜘蛛在爬取工作中是有A鏈接到B鏈接，合理的內(nèi)鏈優(yōu)化能讓蜘蛛抓取更多的頁面，促進收錄。比如在文章內(nèi)可以設(shè)置相關(guān)推薦、熱門文章等。
9.首頁推薦
首頁是整個網(wǎng)站中權(quán)重最高的頁面，也是蜘蛛來訪次數(shù)最多的頁面。在首頁設(shè)置更新版塊，不僅能讓首頁有更新動作，增加蜘蛛的來訪頻率，還可以促進更新頁的抓取收錄。
10.檢查死鏈，設(shè)置404頁面
蜘蛛爬行工作是通過鏈接，若鏈接無法訪問，不僅降低蜘蛛的抓取效率還會影響網(wǎng)站權(quán)重。所以，非常有必要定期排查網(wǎng)站的死鏈，主動想搜索引擎提交，同時做好網(wǎng)站的404頁面，告訴搜索引擎錯誤頁面。
11.檢查robots文件
很多網(wǎng)站無意識的在robots文件屏蔽了百度及部分頁面，導致蜘蛛無法正常抓取，所以應(yīng)該時常檢查網(wǎng)站的robots文件是否正常。
12.建設(shè)網(wǎng)站地圖
網(wǎng)站地圖是一個網(wǎng)站所有鏈接的容器，深的搜索引擎蜘蛛喜歡。鏈接層次較深的網(wǎng)站，可以通過網(wǎng)站地圖方便蜘蛛過來抓取，不僅提高抓取率還能獲得好感。網(wǎng)站地圖讓網(wǎng)站架構(gòu)更加清晰，便于用戶瀏覽也便于蜘蛛的深度抓取。
13.主動提交
若網(wǎng)站頁面更新內(nèi)容后，可主動想搜索引擎提交鏈接，這是最快抓取和收錄的途徑，但提交僅僅只是方便抓取，并不一定百分比收錄。
