??
減少網(wǎng)站中的重復(fù)收錄量
作為搜索引擎來(lái)說(shuō)，怎么選擇一個(gè)標(biāo)準(zhǔn)的鏈接，重復(fù)收錄頁(yè)面是同一個(gè)網(wǎng)站的內(nèi)容是極不友好的，告訴蜘蛛，不讓其抓取到可以使用跳轉(zhuǎn)的形式，把一系列的ulr作為自己設(shè)定的頁(yè)面也是可以的。
避免網(wǎng)站死鏈被收錄
對(duì)于一個(gè)網(wǎng)站存在一些死鏈?zhǔn)呛苷５氖拢热缥覀冊(cè)趧h除某個(gè)欄目或者文章的情況下，不管這些頁(yè)面是否被搜索引擎收錄，我們都需要把這些頁(yè)面屏蔽掉。因?yàn)橛袝r(shí)候已經(jīng)收錄了這些頁(yè)面，只是還沒(méi)有放出來(lái)而已，所以無(wú)論是否被收錄，我們都需要進(jìn)行屏蔽，也可以利用404頁(yè)面來(lái)處理。
屏蔽對(duì)蜘蛛抓取不友好頁(yè)面
網(wǎng)站低質(zhì)量的頁(yè)面對(duì)于蜘蛛是不友好的，我們就要想辦法去屏蔽掉。一般選擇屏蔽方式是有不同評(píng)估的標(biāo)準(zhǔn)。這個(gè)時(shí)候，屏蔽搜索引擎的友好頁(yè)面，對(duì)于網(wǎng)站后續(xù)發(fā)展是很重要的。
屏蔽后臺(tái)
不想被用戶看到的，那么就要對(duì)蜘蛛進(jìn)行屏蔽，一般使用robots.txt文件進(jìn)行屏蔽。
