myehs.cn
www.sa8000cn.cn
www.chinaehs.net
www.chinaehs.org
www.kongqihuxiqi.cn等等網(wǎng)站均大批量出現(xiàn)此情況
,大量網(wǎng)站出現(xiàn)屏蔽360蜘蛛情況
答:您好,抱歉,已經(jīng)調(diào)整,您再使用觀察一下,非常感謝您長期對我司的支持.由此給您帶來的不便之處,敬請?jiān)?謝謝!
問:具體原因是什么樣的?
答:您好,抱歉,之前是我司的攔截系統(tǒng)攔截了部分360蜘蛛IP導(dǎo)致的,目前已經(jīng)放行處理,您再觀察一下,非常感謝您長期對我司的支持!
問:請問貴司是否還有屏蔽其他搜索引擎的蜘蛛?有的話告知一下詳情
答:您好,沒有屏蔽其他常用蜘蛛的,您再使用觀察一下,非常感謝您長期對我司的支持.由此給您帶來的不便之處,敬請?jiān)?謝謝!
問:這個(gè)網(wǎng)站的流量怎么這么大啊,能否屏蔽除百度360之外的其他偽蜘蛛的爬行
答:您好,查看日志bingbot YisouSpider 抓取頻繁,可以參考http://www.shinetop.cn/faq/list.asp?unid=662 設(shè)置攔截,非常感謝您長期對我司的支持!
問:我按照那個(gè)修改了之后,流量反而增加了很多,求解決
問:還有個(gè)問題,昨天我看我8.7那天的流量才3G多點(diǎn),今天再看就變成5G多了,這是怎么回事
問:正常來說,已經(jīng)過去的,統(tǒng)計(jì)出來的數(shù)據(jù)應(yīng)該是恒定不變的啊,怎么會自己增加那么多呢
答:您好, 如圖,主要是圖片和/mycity/pinyin.txt 這個(gè)文件被大量訪問造成的占用流量。
分析web日志,把您認(rèn)為有異常的蜘蛛爬行屏蔽,繼續(xù)觀察。另外核實(shí)http://yanwdbcenter.gotoip1.com/mycity/pinyin.txt 這個(gè)文件被大量訪問是否正常,請進(jìn)行必要的處理。
問:我在配置文件里面添加了屏蔽YisouSpider ,但是我查了日志,這個(gè)還是在訪問嘛,難道屏蔽不起作用?
問:是不是我配置完成了,你們要重啟服務(wù)器
問:YisouSpider bingbot SOUGOU屏蔽了,但是訪問日志里面還是大量存在,設(shè)置的規(guī)則沒有起作用
答:您好,
1.測試屏蔽是有作用的,屏蔽之后并不是說對應(yīng)的蜘蛛就不會再訪問了,而是訪問的時(shí)候服務(wù)器返回拒絕狀態(tài),不返回?cái)?shù)據(jù)。(如下截圖中的403狀態(tài)),從而降低流量消耗。2.同時(shí)您可以開啟百度云加速來進(jìn)行防護(hù),可過濾部分異常請求和訪問。,非常感謝您長期對我司的支持.由此給您帶來的不便之處,敬請?jiān)?謝謝!
問: 流量超標(biāo)是什么原因
答:您好, 查看日志,您站點(diǎn)中大量360爬蟲訪問導(dǎo)致,如截圖, 請參照 http://www.shinetop.cn/faq/list.asp?unid=662 對蜘蛛爬蟲進(jìn)行屏蔽,即可減少流量消耗,謝謝