我不知道你是否讀過百度的優化指南,如果你有,我相信你會知道,在指南中有一頁明確的指示。如果有其他不同的URL鏈接,搜索引擎蜘蛛會選擇其中一個作為主要標準,其他相同頁面的URL鏈接也會收錄,但這些重復包含的頁面面對面對搜索引擎非常不友好,甚至會讓他們認為你的網站是低質量的。當然,有很多方法可以解決這個問題。例如,我們可以使用robots文件來封禁這種重復的URL地址,告訴蜘蛛不要抓取這些地址,或者使用跳轉的形式將一系列URL跳轉到我們自己設置的頁面。
網站收錄量減少對網站是有利的還是不利的?

二、 刪除一些對搜索引擎不友好的頁面
在網站的每一個生命周期中,死鏈往往是可見和不可避免的。例如,如果我們刪除一個列表頁,并且文章頁面的一部分有該列的鏈接地址,則需要刪除這些鏈接。另一個我們需要注意的是,不管這些鏈接是否收錄在搜索引擎中,我們都需要對它們進行屏蔽,因為很多時候,搜索引擎中抓取的一些頁面不會立即得到展現,而是會在一定的更新期后才會給予展現,所以屏蔽它們對我們是有益無害的。
三、 封鎖一些不必要的后臺中心
每個網站都有自己的后臺中心頁面,還有會員系統頁面等,這些頁面對于搜索引擎來說都是無用的,也就是說,質量不高的頁面,所以屏蔽這些頁面,不要讓搜索引擎抓到它們是非常重要的。
四、而且針對上面的問題我們要先了解搜索引擎的抓取夠工作原理是什么?
搜索引擎對互聯網中內容的抓取是依靠“蜘蛛(spider)”或“機器人(robot)”的程序,沿著網頁上的鏈接從一個頁面到達另外一個頁面而抓取內容的。所以我們想要讓“蜘蛛(spider)”來抓取我們的網頁上的內容,那么必須要能夠吸引“蜘蛛(spider)”來到我們的網頁上面,了解“蜘蛛(spider)”的習性和喜好。
“蜘蛛(spider)”比較喜歡具有以下特征的內容:
①可以識別文字,不能識別圖片和flash;
②喜歡爬行網站權重高的網頁內容;
③喜歡頁面是原創的內容;
④喜歡更新頻率高的網站;
⑤喜歡頁面層級少,網頁結構扁平化便利抓取;
⑥根據頁面的連接數來爬行到網頁來抓取內容。
根據以上“蜘蛛(spider)”的習性和喜好來針對性的解決網站沒有收錄的問題。
解決方法如下:
①因為新網站肯定是沒有網站權重的,所以我們需要更多的規律性的原創內容更新;
②因為是新網站外部的鏈接幾乎可以說是沒有,那么蜘蛛是根據鏈接來爬行的,我們需要進行相關部分外鏈來引導蜘蛛抓取網頁內容;
③多在網站上發純文字相關的內容,可以每篇文章附帶一張圖片;而不要發布純圖片的內容;
④網站的網頁結構扁平化處理,最好可以在三個層級以內,便利于蜘蛛抓取網站更多的內容。








