我禁用過谷歌抓取，效果不明白 ，流量仍然被消耗掉了，User-agent: Googlebot Disallow: / Sitemap: http://www.cmmi345.org/sitemap.xml
,禁止谷歌抓網(wǎng)站數(shù)據(jù)，效果不明顯
您使用robots規(guī)則去攔截的話是不一定有效果的，因?yàn)橹┲氩灰欢〞凑誶obots.txt里面的規(guī)則來爬行。因?yàn)檫@些規(guī)則并是不強(qiáng)制生效，而是簡單的一個約定。
如果要屏蔽谷歌蜘蛛爬行您的站點(diǎn)，可以直接參考http://www.shinetop.cn/faq/list.asp?unid=662 處理再觀察。非常感謝您對我司的支持，謝謝！
<?xml version=\”1.0\” encoding=\”UTF-8\”?><configuration> <system.webServer> <rewrite> <rules><rules>
<rule name=\”Block spider\”> <match url=\”(^robots.txt$)\” ignoreCase=\”false\” negate=\”true\” /> <conditions> <add input=\”{HTTP_USER_AGENT}\” pattern=\”SemrushBot|googlebot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|curl|perl|Python|Wget|Xenu|ZmEu\” ignoreCase=\”true\” /> </conditions> <action type=\”CustomResponse\” statusCode=\”403\” statusReason=\”Forbidden\” statusDescription=\”Forbidden\” /></rule>
</rules>
<rule name=\”/ Z-BlogPHP Imported Rule\” stopProcessing=\”true\”> <match url=\”^.*?\” ignoreCase=\”false\” /> <conditions logicalGrouping=\”MatchAll\”> <add input=\”{REQUEST_FILENAME}\” matchType=\”IsFile\” negate=\”true\” /> <add input=\”{REQUEST_FILENAME}\” matchType=\”IsDirectory\” negate=\”true\” /> </conditions> <action type=\”Rewrite\” url=\”index.php/{R:0}\” /> </rule> <rule name=\”/ Z-BlogPHP Imported Rule index.php\” stopProcessing=\”true\”> <match url=\”^index.php/.*?\” ignoreCase=\”false\” /> <conditions logicalGrouping=\”MatchAll\”> <add input=\”{REQUEST_FILENAME}\” matchType=\”IsFile\” /> </conditions> <action type=\”Rewrite\” url=\”index.php/{R:0}\” /> </rule> </rules> </rewrite> </system.webServer></configuration>
您的規(guī)則添加的有問題，已經(jīng)給您做了調(diào)整。現(xiàn)在模擬谷歌蜘蛛測試抓取您的站點(diǎn)已經(jīng)無法正常訪問了，提示403報錯。您測試核實(shí)一下，非常感謝您對我司的支持，謝謝！
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享網(wǎng)絡(luò)內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。郵箱：3140448839@qq.com。本站原創(chuàng)內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明出處：
三五互聯(lián)知識庫 »
禁止谷歌抓網(wǎng)站數(shù)據(jù)，效果不明顯
