??
眾所周知，百度蜘蛛通過跟蹤鏈接登頁抓住頁面內容。蜘蛛爬上主頁需要外部鏈接，只有蜘蛛爬上主頁后沿著內部鏈接抓住更深的頁面內容。在這里要進一步注意的是，為了不離主頁太遠，必須控制在3~4次。
所以，網站應該要有良好的網站結構，邏輯分明，并且內部鏈接要形成一個蜘蛛網，提高蜘蛛爬取黏度。從網站編碼上來看，要注意避免用js腳本鏈接、flash中的鏈接等，因為蜘蛛不識別，無法識別跟蹤鏈接爬行，直接就會造成收錄問題。
第二、找到頁面后能不能抓取頁面內容
當蜘蛛爬上網站時，文章不能順利地抓取，而網站設計則有很大的關系，具體而言，蜘蛛不喜歡動態URL，所以在網站代碼中可以找到URL并可以爬行，最好的建議，網站URL使用靜態。
第三、抓取頁面后怎樣提煉有用信息
按照搜索引擎網站的原則，我們都知道搜索引擎蜘蛛來到你的網站后，抓住頁面，索引的第一步就是提取中文，所以把關鍵詞放在頁面的最重要位置，即頁面的標題是搜索引擎優化的最重要因素，有一些網站描述和文章標題以及其他重要的寫。
在網站背景寫作的過程中，程序員知道簡化代碼是很重要的。例如，刪除不需要的代碼和注釋可以使搜索引擎更快、更清楚地了解頁面內容，并提取有用的信息。
