網(wǎng)站流量超標(biāo)排查

一．查看網(wǎng)站訪問統(tǒng)計(jì)

 1. 登錄到虛擬主機(jī)管理面板，點(diǎn)擊“訪問統(tǒng)計(jì)”

 2.首先查看訪問統(tǒng)計(jì)中瀏覽器與非瀏覽器流量確定流量類型。

 3.根據(jù)流量類型詳細(xì)查看訪問統(tǒng)計(jì)數(shù)據(jù)：

          3.1如是瀏覽器流量占用高，可查看

等統(tǒng)計(jì)數(shù)據(jù)，以確定網(wǎng)站中是哪類文件，哪些url地址被大量訪問，以及是哪些IP，哪些蜘蛛等訪問量大。

       3.2如是非瀏覽器流量占用高，可查看

  確定是什么狀態(tài)情況下產(chǎn)生的非瀏覽器流量。

二．分析網(wǎng)站訪問日志

  根據(jù)網(wǎng)站訪問統(tǒng)計(jì)中按“按日期統(tǒng)計(jì)”數(shù)據(jù)找一天流量較大的日志下載至本地使用記事本編輯器打開對(duì)日志具體分析核實(shí)。

   通常只需找最近三天左右的日志即可，

           windows主機(jī)可以點(diǎn)擊“www日志”下載訪問日志到wwwroot目錄下，再通過ftp方式連接下載 至本地使用編輯器打開查看。

           Linux主機(jī)通過ftp連接主機(jī)打開logs目錄下即可下載最近的日志。

   如要下載歷史日志，可以點(diǎn)擊 “www日志”--“獲取歷史日志”。

三．處理措施

3.1 正常訪問情況主機(jī)流量配置低導(dǎo)致超標(biāo)。如占用流量的文件類別、url網(wǎng)址、搜索蜘蛛、訪問IP等數(shù)據(jù)都較均衡，無明顯差異等。請(qǐng)升級(jí)主機(jī)至流量配額更大的型號(hào)。

3.2 網(wǎng)站頁面數(shù)據(jù)過大導(dǎo)致流量超標(biāo)。如首頁中加載的圖片過大，同時(shí)圖片設(shè)計(jì)過大等，可聯(lián)系網(wǎng)站程序方人員減少頁面的圖片數(shù)，減小圖片大小等方式處理或者升級(jí)主機(jī)至流量更大的型號(hào)。

3.3 某類文件被大量請(qǐng)求下載等導(dǎo)致超標(biāo)。如網(wǎng)站的mp4文件被外部盜鏈/下載等，可考慮將文件存放至其他第三方網(wǎng)站進(jìn)行引用，或升級(jí)主機(jī)至不限流量的云服務(wù)器。

3.4 其他某搜索引擎蜘蛛、IP、useragent等導(dǎo)致流量超標(biāo)異常的。可通過web.config或.htaccess進(jìn)行攔截屏蔽。

屏蔽攔截搜索引擎蜘蛛、useragent的訪問抓取等：http://faq.myhostadmin.net/faq/list.asp?unid=662

屏蔽限制ip訪問：http://faq.myhostadmin.net/faq/list.asp?unid=681    

   3.5 平時(shí)流量很小，突然一兩天來了非常大的流量：是否有做活動(dòng)，是否有發(fā)文章轉(zhuǎn)載到公眾號(hào)被大量轉(zhuǎn)發(fā)等事件。

      如果沒有，則可能是有機(jī)器人或采集器等異常訪問流量，使用虛擬主機(jī)控制面板中的“請(qǐng)求限制”功能：可以禁止境外訪問，或拒絕某些IP段的訪問，也可以限制單個(gè)IP同時(shí)訪問的數(shù)量等。

   也可以配置防盜鏈措施： http://faq.myhostadmin.net/faq/list.asp?unid=628 避免自己網(wǎng)站的圖片,mp3視頻等資源被其他網(wǎng)站引用導(dǎo)致的異常流量過高。

   （注意：采用防盜鏈措施的情況下，直接發(fā)網(wǎng)站圖片等鏈接給用戶，用戶是無法訪問的，只有正常訪問網(wǎng)站才能顯示相關(guān)圖片，以達(dá)到防盜鏈的目的）

3.6分析到某客戶端UA訪問請(qǐng)求異常，可通過web.config或.htaccess規(guī)則文件屏蔽User_Agent(UA)訪問：http://faq.myhostadmin.net/faq/list.asp?unid=2595

 3.7 推薦購(gòu)買異常流量清洗服務(wù) ，我司系統(tǒng)可智能屏蔽惡意流量。

四．相關(guān)案例

4.1 正常訪問情況主機(jī)流量配置低

  從訪問統(tǒng)計(jì)可見占用流量的文件類別主要為php、js、png、css。訪問最多的網(wǎng)址為首頁。而訪問IP，搜索蜘蛛等占量無異常。

  通過下載網(wǎng)站日志核實(shí)，日志中也均正常的訪問記錄無明顯異常請(qǐng)求。

  此情況則為正常訪問而主機(jī)流量不足導(dǎo)致超標(biāo)，應(yīng)升級(jí)主機(jī)。

4.2 網(wǎng)站頁面數(shù)據(jù)過大

    從統(tǒng)計(jì)可見占用流量最多的是圖片類文件，訪問網(wǎng)址最多的是首頁。

  從訪問日志中可見，請(qǐng)求的圖片量較大，通過瀏覽器可見圖片也相對(duì)偏大。

  此情況可考慮優(yōu)化減小圖片大小（通常圖片大小不應(yīng)超過300KB），或升級(jí)主機(jī)。

4.3 非瀏覽器流量大某文件被下載

  從訪問統(tǒng)計(jì)可見非瀏覽器206狀態(tài)占用大量流量，文件類別為mp4且文件較大。 206是斷點(diǎn)續(xù)傳下載，由此可判斷mp4文件被下載導(dǎo)致。

  此情況可考慮將文件存放至其他第三方網(wǎng)站進(jìn)行引用，或升級(jí)主機(jī)至不限流量的云服務(wù)器。

4.3 搜索引擎蜘蛛/機(jī)器人等占用流量

  從訪問統(tǒng)計(jì)可見Googlebot（google蜘蛛）占用大量流量。

  從訪問日志可見Googlebot對(duì)網(wǎng)站某個(gè)地址進(jìn)行大量的訪問抓取，通過反查IP是真實(shí)的google蜘蛛。

  此情況如不考慮seo優(yōu)化影響情況下，可以通過規(guī)則對(duì)googlebot進(jìn)行屏蔽。 類似情況還可能有Baiduspider（百度蜘蛛）對(duì)網(wǎng)站的大量訪問抓取�？赏ㄟ^來源IP核查是否為真實(shí)的百度蜘蛛等。屏蔽蜘蛛的抓取會(huì)對(duì)網(wǎng)站的seo優(yōu)化產(chǎn)生影響，所以并不推薦將google，baidu的蜘蛛進(jìn)行屏蔽。建議用戶可考慮升級(jí)主機(jī)解決。

五．驗(yàn)證屏蔽規(guī)則是否生效

5.1 屏蔽IP驗(yàn)證：

  5.1.1訪問http://ip.tool.chinaz.com/獲取到本地公網(wǎng)IP。

  5.1.2將.htaccess（linux主機(jī)）或web.cofnig (windows主機(jī)) 中規(guī)則攔截IP換成本地公網(wǎng)IP：

 5.1.3再次訪問網(wǎng)站，如提示Forbidden訪問受限則規(guī)則正確生效，然后將IP對(duì)應(yīng)更換為需要屏蔽的IP即可。

5.2 屏蔽蜘蛛或useragent驗(yàn)證(以百度蜘蛛為例)：

5.2.1 訪問http://faq.myhostadmin.net/faq/listagent.asp?Unid=2289 安裝瀏覽器插件。

         5.2.1 將.htaccess（linux主機(jī)）或web.cofnig (windows主機(jī)) 中規(guī)則中增加對(duì)Baiduspider的攔截

5.2.3再次訪問網(wǎng)站，如提示Forbidden訪問受限則規(guī)則正確生效，然后在規(guī)則文件中取消對(duì)Baiduspider的屏蔽，改為其他蜘蛛或useragent即可。

相關(guān)產(chǎn)品： 異常流量清洗服務(wù)產(chǎn)品介紹