BaiDuSpider百度蜘蛛占用流量,robots.txt設(shè)置

注：以下BaiDuSpider等于百度蜘蛛、Googlebot等于google蜘蛛、Sogou Spider等于搜狗蜘蛛

一、問(wèn)題

因某些原因，搜索引擎蜘蛛抓取網(wǎng)站占用很大流量，如圖：

網(wǎng)站訪(fǎng)問(wèn)日志也可看見(jiàn)很多蜘蛛爬行記錄。

如果是正常的搜索引擎蜘蛛訪(fǎng)問(wèn)，不建議對(duì)蜘蛛進(jìn)行禁止，否則網(wǎng)站在百度等搜索引擎中的收錄和排名將會(huì)丟失，造成客戶(hù)流失等損失。可以?xún)?yōu)先考慮升級(jí)虛擬主機(jī)型號(hào)以獲得更多的流量或升級(jí)為云服務(wù)器（不限流量）。

二、認(rèn)識(shí)、學(xué)習(xí)

我們知道，搜索引擎都遵守互聯(lián)網(wǎng)robots協(xié)議，可通過(guò)robots.txt來(lái)進(jìn)行限制。先對(duì)robots.txt一些實(shí)例說(shuō)明，然后根據(jù)上面網(wǎng)站情況進(jìn)行規(guī)則設(shè)置，通過(guò)上面截圖可以看出BaiDuSpider占用流量非常大，首先在網(wǎng)站跟目錄下面建立一個(gè)robots.txt文件。

例1. 禁止所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的任何部分　

　　User-agent: *　

Disallow: /　

例2. 允許所有的robot訪(fǎng)問(wèn) (或者也可以建一個(gè)空文件 “/robots.txt” file)　

　　User-agent: *　

　　Allow:　

例3. 禁止某個(gè)搜索引擎的訪(fǎng)問(wèn)（禁止BaiDuSpider）

　　User-agent: BaiDuSpider　

Disallow: /　

例4. 允許某個(gè)搜索引擎的訪(fǎng)問(wèn)　

　　User-agent: Baiduspider　

allow:/　

例5.禁止二個(gè)目錄搜索引擎訪(fǎng)問(wèn)

    User-agent: *

Disallow: /admin/

Disallow: /install/

例6. 僅允許Baiduspider以及Googlebot訪(fǎng)問(wèn)

User-agent: Baiduspider
Allow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /

例7. 禁止百度搜索引擎抓取你網(wǎng)站上的所有圖片

User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

三、 問(wèn)題解決（規(guī)則設(shè)置）

根據(jù)以上實(shí)例，經(jīng)過(guò)分析網(wǎng)站日志，主要是百度抓取圖片占用了流量，他還有兩個(gè)目錄也不希望搜索引擎抓取，設(shè)置規(guī)則如下解決：

User-agent: *

Disallow: /admin/

Disallow: /install/

User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫(kù)的更新需要時(shí)間。雖然蜘蛛已經(jīng)停止訪(fǎng)問(wèn)您網(wǎng)站上的網(wǎng)頁(yè)，但百度搜索引擎數(shù)據(jù)庫(kù)中已經(jīng)建立的網(wǎng)頁(yè)索引信息，可能需要數(shù)月時(shí)間才會(huì)清除。也就是說(shuō)設(shè)置限制之后日志還會(huì)看見(jiàn)蜘蛛爬行，逐漸會(huì)降低抓取直到完全生效，這種問(wèn)題會(huì)持續(xù)一段時(shí)間。如果您需要盡快屏蔽，訪(fǎng)問(wèn)以下幫助中心進(jìn)行投訴，搜索引擎就會(huì)較快處理。

如果設(shè)置后無(wú)效（或部分蜘蛛不遵守robots協(xié)議，可以用：使用偽靜態(tài)規(guī)則攔截蜘蛛訪(fǎng)問(wèn) http://www.shinetop.cn/faq/list.asp?unid=662　）

四、Baiduspider抓取次數(shù)太多造成的帶寬堵塞，影響網(wǎng)站正常訪(fǎng)問(wèn)如何解決？

訪(fǎng)問(wèn)百度站長(zhǎng)工具http://zhanzhang.baidu.com/ ，注冊(cè)用戶(hù)名登錄，先添加網(wǎng)站通過(guò)驗(yàn)證。

然后到網(wǎng)頁(yè)抓取》抓取頻次》當(dāng)前抓取頻次過(guò)大如何解決？提示內(nèi)容：

您可以按照如下方法依次進(jìn)行排查及解決頻次過(guò)大問(wèn)題：

1、如果您覺(jué)得Baiduspider 抓取了您認(rèn)為的無(wú)價(jià)值鏈接, 請(qǐng)更新網(wǎng)站robots.txt進(jìn)行屏蔽抓取，然后到robots工具頁(yè)面操作生效。

2、如果Baiduspider的抓取影響了您網(wǎng)站的正常訪(fǎng)問(wèn)，請(qǐng)到抓取頻次上限調(diào)整頁(yè)面進(jìn)行抓取頻次上限下調(diào)。

3、若以上方法均不能解決問(wèn)題，請(qǐng)到反饋中心反饋

建議采用第二個(gè)方法，調(diào)整百度抓取頻次上限。以下截圖為“頻次上限調(diào)整頁(yè)面”，如影響訪(fǎng)問(wèn)，可把值適當(dāng)調(diào)整小。