標簽：阻止蜘蛛訪問

虛擬主機如何阻止蜘蛛訪問？虛擬主機組織蜘蛛訪問，可以使用robots協議來實現。robots是網站跟爬蟲間的協議，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限，也就是說robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件

編輯君2019-08-01虛擬主機知識 閱讀(1524)贊(0)