問：謝謝，我估計就是這些爬蟲的影響，因為原來網站運行是正常的，就最近一個多月才這樣。但是我已經把rebot.txt這個程序改名屏蔽了，請問還要隔壁哪些爬蟲程序呢？
答：您好，核實到主要是yisou這個 ，詳見附圖上條回復 的截圖3 ，另，也建議核實下 第一條我司回復的 mysql的截圖，一并做處理 ,非常感謝您長期對我司的支持.由此給您帶來的不便之處,敬請原諒!謝謝!
問：但是我已經把rebots.txt這個程序改名屏蔽了，請問還要如何來屏蔽這些爬蟲程序呢？
問：也就是說，有什么更好的方法來徹底屏蔽所有的蜘蛛爬蟲呢？請指教！謝謝！
答：您好，您可參考 ：http://www.shinetop.cn/faq/list.asp?unid=662 iis 6 部分來對蜘蛛進行屏蔽操作 ：
#Block spider
RewriteCond %{HTTP_USER_AGENT} (Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu) [NC]
RewriteRule !(^/robots.txt$) – [F]
,非常感謝您長期對我司的支持.由此給您帶來的不便之處,敬請原諒!謝謝!
問：現在網站又打不開了，出現提示:504 Gateway Time-out請幫我檢查一下原因，謝謝！
我已經修改了rebots.txt攔截了蜘蛛爬蟲的
問：現在簡單的靜態網頁都打不開
www.liudukj.com/zhaoshang1.htm
答：您好：
我司測試正常的，請您刷新瀏覽器再測試一下，如果有問題請您詳細描述問題并提供對應的錯誤信息和截圖,非常感謝您長期對我司的支持!