Disallow: /
虛擬主機(jī)阻止某個(gè)蜘蛛訪問時(shí),可以如下編寫:
User-agent: xxxspider
Disallow:/
虛擬主機(jī)阻止某個(gè)目錄被蜘蛛訪問時(shí),可以如下編寫:
User-agent: *
Disallow: /admin/
即表示/admin/目錄,所有搜索引擎都不得來訪問。
以上是關(guān)于虛擬主機(jī)如何阻止蜘蛛訪問的介紹,如需購買虛擬主機(jī),推薦三五互聯(lián),共享虛擬主機(jī)、獨(dú)享虛擬主機(jī)齊備,各類配置均有,滿足不同網(wǎng)站建設(shè)需求,價(jià)格實(shí)惠,售后尤其出色。
購買入口:http://www.shinetop.cn/services/webhosting/
獨(dú)享入口:http://www.shinetop.cn/services/webhosting/dxhosting.asp