問:百度蜘蛛一直顯示抓取失敗,403禁止
HTTP/1.1 403 Forbidden Server: wts/1.1 Date: Tue, 06 Aug 2019 09:11:25 GMT Content-Type: text/html Content-Length: 164 Connection: close怎么解決,服務器是不是屏蔽了百度蜘蛛的IP
答:您好,虛擬主機二級域名xuefuzhu.gotoip2.com屏蔽了百度蜘蛛訪問的,請問您抓取的哪個網址,請提供抓取診斷詳細頁面截圖我司查看下,非常感謝您長期對我司的支持!
問:
答:您好, 域名解析有問題,請刪除這兩條解析,等待解析生效再試,非常感謝您長期對我司的支持!
問:
昨天根據你的建議我刪除了解析,但是還是不成功,還是403禁止錯誤,百度蜘蛛爬取不了,都快半年了
答:您好,截圖百度抓取仍未更新,需要等待百度抓取服務器解析更新才能正常訪問,非常感謝您長期對我司的支持!
問:一般幾天或者幾小時
問:解析昨天晚上就刪了
答:您好,根據我司經驗,百度有一定的緩存,大概2-3天左右才能更新,請等待。可以點“報錯”反饋下,更新速度會快點
問:127.0.0.1 這個IP 百度蜘蛛抓取老異常
幫忙看下是否有屏蔽,
答:您好,目前我司核實結果來看,是百度方面出現異常導致.我司防火墻方面最近并沒有調整,同時測試其他公司的幾個站點,使用抓取診斷也無法成功,非常感謝您長期對我司的支持!
問:網站顯示屏蔽百度蜘蛛
答:您好,
檢查您的網站日志可以看到百度蜘蛛是可以正常抓取的。若您是要屏蔽百度蜘蛛的抓取。可以參考http://www.shinetop.cn/faq/list.asp?unid=626處理。非常感謝您長期對我司的支持!
問:他說我服務器上面是不是做了什么處理了
答:您好,
www.fkgzs.com 這個域名是直接A記錄指向到服務器IP地址的并且該服務器上web服務是使用的IIS而不是nginx,并且我們在第三方工具里面模擬百度蜘蛛抓取是無問題的。請您將這些情況反饋給百度那邊核實,請知曉。不過如果您要使用百度云觀測的話會有問題,我們機房屏蔽了百度云觀測的節點IP(但是不會影響任何百度蜘蛛的收錄等情況)。很多用戶使用百度云觀測導致站點訪問異常,以及服務器負載高的情況。非常感謝您對我司的支持,謝謝!