??
不知道各位有沒有看過百度的優(yōu)化指南，如果看過的話，相信你會知道該指南中有明確的標示出一個頁面如果存在其他不同的URL鏈接的時候，搜索引擎蜘蛛就會進行選擇一個作為主要標準，而那些其他同樣頁面的URL鏈接責也都會被收錄，不過這些重復收錄的頁面對于搜索引擎是極為不友好的，甚至會讓搜索引擎認為你的網(wǎng)站存在作弊的行為。當然這樣的問題解決的方法也是有很多的，例如說我們可以利用robots文件來進行屏蔽那么重復的URL地址，告訴蜘蛛不讓其抓取，也可以使用跳轉的形式把一系列的URL跳轉到自己設定的頁面上也是可以的。
(二)屏蔽一些對搜索引擎不友好的頁面。
對于一個網(wǎng)站而言，在選擇搜索引擎優(yōu)化為主還是用戶體驗為主的問題上，往往會面臨很艱難的選擇，所以這個時候怎樣把這些沖突化解就極為重要了。而對于一個有質(zhì)量的網(wǎng)站頁面，用戶和蜘蛛也是有著不同的評估標準，所以這個時候我們適當?shù)娜テ帘我恍τ谒阉饕娌皇呛苡押玫捻撁鎸τ谝粋€網(wǎng)站日后的發(fā)展而言是非常有必要的，并且這種事情我們在網(wǎng)站的發(fā)展中是會經(jīng)常的遇到的，但是又會有很多的廣告商來這里發(fā)布一些沒用的廣告，而這些廣告的質(zhì)量是極為低的，所以這個時候會了方便用戶交流又不會影響到網(wǎng)站在搜索引擎中的權重，我們就非常的有必要把這些頁面板塊進行屏蔽，不讓蜘蛛來抓取，這樣就可以做到兩全其美咯。
(三)屏蔽網(wǎng)站中存在的死鏈接。
在一個網(wǎng)站的每個生命周期中，死鏈是我們經(jīng)常可以看得到的，也是無法去避免的。就例如說我們把某個欄目刪除掉了，而一部分文章頁面還存在有該欄目的鏈接地址，這個時候我們就需要把這些鏈接進行屏蔽處理。還有一點是需要我們注意的就是，無論這些鏈接是否被搜索引擎所收錄，我們都需要進行屏蔽，因為很多時候搜索引擎收錄一些頁面是不會立刻放出來的，而是在某段時間的更新中放出來，所以屏蔽掉對我們有利而無害。
(四)屏蔽掉一些沒有必要的后臺中心。
每一個站點都是有著自己的后臺中心頁面，還有的就是有會員系統(tǒng)頁面等，這些頁面對于搜索引擎而言是對用戶沒有用的，也就是我們說的低質(zhì)量頁面，所以把這些頁面屏蔽掉不讓搜索引擎抓取也是很重要的。
