問:你好,最近網站收錄效果很差,于是反饋了百度站長平臺,得到的結果是說網站抓取時間比較慢的原因,但我們自己感覺網站訪問速度沒什么問題啊,為什么抓取會慢呢?是不是服務器上設置出來什么問題呢?能否幫忙分析下網站日志看看什么原因,或者告訴我們網站訪問日志文件在什么位置!謝謝,網站百度蜘蛛抓取時間慢
答:您好,目前檢查您的服務器各項資源使用正常,測試訪問兩個域名https://www.hao-sheng-yi.com/ 和http://www.weizengo.com/打開都是很快的,您可以在百度站長平臺測試抓取一些靜態的資源,看下速度如何,如果能抓取到只是抓取較慢,可能和百度蜘蛛本身服務器線路到達您的服務器有關,這個不太好改善。
如需分析日志,需要您開啟下wdcp面板中站點的日志,開啟后才會記錄,默認是沒有開啟的,謝謝。
問:為什么在網站日志中找不到各大搜索引擎訪問日志?請問日志目錄是不是這個/home/web_logs/?www.c2b360.com站點已開啟所有日志記錄,為什么沒有搜索引擎訪問記錄?
答:您好,查看您的日志應該是剛剛開啟,請等待蜘蛛的抓取,可以搜索baiduspider,google等關鍵詞獲取下,目前還沒有請不要著急,蜘蛛對新站的抓取是逐步的,您可以在百度站長平臺注冊一個帳號,接入下網站,可以看到每日的抓取情況。
另外注意下robots.txt以及.htaccess文件中不要有限制屏蔽蜘蛛名或者IP等的規則,謝謝。
問:日志10月16日開始創建的,開啟10天肯定有的了,正常來說開啟一天也會看得到記錄的,現在是所有搜索引擎都沒有記錄,你不覺得奇怪嗎?是過濾了?還是服務器做了某些設置不讓蜘蛛訪問?
答:您好,服務器本身,包括機房防火墻,并不會攔截蜘蛛的抓取,請您先暫時調整下網站中的.htaccess和robots.txt規則再查看下,另外,這個問題也可能和wdcp的日志記錄方式有關,日志的記錄方式和一般的日志格式不太相同。實際的抓取情況,您可以以百度站站平臺后面的統計為準,謝謝。