問:生成sitemap網站抓取鏈接在50個之后都會失敗,很多三五互聯主機的網站都會這樣,用百度和阿里主機的網站抓取都沒有問題,生成工具試了很多都這樣,檢查看什么原因
,生成sitemap網站抓取失敗
答:您好,我司設置了cc防護,限制了單個ip10s請求超過50次,正常訪問是不會達到這個頻率的。請調整您的抓取軟件的頻率,限制到抓取頻率在10s 50以下,抓取生成再試,非常感謝您長期對我司的支持!
問:能不能取消限制,這個會不會影響百度抓取網站收錄
答:您好,無法取消,對應的設置不會影響百度抓取,百度抓取是不會達到這個頻率,這個頻率屬于非正常訪問,您生成sitemap的時候請注意限制抓取頻率即可,非常感謝您長期對我司的支持!
問:生成sitemap根本沒有辦法限制頻率,怎么處理
答:您好,當前虛擬主機都是相關限制,建議您升級使用云服務器,云服務器環境可以自行設置,這樣生成沒有限制,非常感謝您長期對我司的支持!
問:其他服務商的虛擬主機就完全沒有這個限制,都是能生成地圖的,這個完全不合理
答:您好,當前可以特殊為您處理一下,您將需要進行生成sitemap的網站域名回復到工單中,我司為您添加白名單您抓取再試,同時設置后對應的cc防護就沒有效果了,非常感謝您長期對我司的支持!
問:難道以后做一個網站還要提交一次工單?算了,沒意義
答:您好,非常抱歉,默認虛擬主機均開啟CC防護,在高頻訪問的情況下會觸發攻擊防護,建議您控制抓取頻率,蜘蛛訪問會直接通過驗證,所以不受影響,非常感謝您長期對我司的支持!
問: 127.0.0.1:22000這個服務器網站比較慢,我看監控信息,網絡帶寬,cpu等都占用比較高,麻煩看下原因
答:您好,我們查看cpu占用并不高,服務器負載也不高,是帶寬高,根據進程來看是網站訪問占用的,首頁加載的內容比較多,帶寬不夠,建議將帶寬升級到10M再觀察下,非常感謝您長期對我司的支持!
問:您好,現在看降下來了,請問用什么命令可以查看?具體怎么查看
答:您好,vnstat -l -i eth0 查看實時流量,iftop可以查看當前連接流量,nethogs可以查看進程流量,非常感謝您長期對我司的支持!
問:請問一下,會不會被攻擊了什么的,比如惡意用程序訪問網站首頁什么的?因為我看之前都很低,今天中午突然變高了,不知道具體什么原因
答:您好,我們之前登陸查看負載是很低的, 如果有攻擊一般負載都會偏高,并且日志里面會有記錄。您網站首頁加載的內容偏多,如果同時有幾個人訪問就能把帶寬占滿,并不需要攻擊就可以造成網站訪問卡頓。最好檢查優化下網站的結構,資源圖片可以盡可能壓縮減少,或者直接升級帶寬,非常感謝您長期對我司的支持!