問：www.hsy188.com/xinwen/1109.html 02:00:57www.hsy188.com/m/xinwen/967.html 01:55:44www.hsy188.com/caipin/802.html 01:51:17www.hsy188.com/m/html/maocaijiamengwenda/.html 01:47:33www.hsy188.com/m/news/1126.html 01:40:52www.hsy188.com/m/xinwen/956.html 01:36:23www.hsy188.com/html/maocaipeifang/ 01:28:57www.hsy188.com/caipin/882.html 01:23:00www.hsy188.com/xinwen/910.html 01:17:02
能再幫我看看嗎。百度抓取的錯誤鏈接，在網站日志中對應不上。,接上個問題“出現服務器錯誤”
答：您好，
2018/07/03 02:00:57 [error] 7536#35632: * WSARecv() failed (10054: An existing connection was forcibly closed by the remote host) while reading response header from upstream, client: 127.0.0.1, server: localhost, request: "GET /xinwen/1109.html HTTP/1.1", upstream: "http://127.0.0.1:80/xinwen/1109.html", host: "www.hsy188.com"
從nginx錯誤日中中找到問題所在了,您在web.config中屏蔽了百度蜘蛛的部分ip地址導致這部分蜘蛛抓取時502了,這個時間點和您提供的時間點是對應的,請去掉web.config中屏蔽ip的規則,非常感謝您長期對我司的支持!
問：非常感謝，
<add input="%{HTTP_X_FORWARDED_FOR}&%{REMOTE_ADDR}&%{HTTP_X_Real_IP}" pattern="(220.181.108|111.206.198|113.83.192|127.0.0.1|111.206.222|111.206.198|116.24.64|127.0.0.1)" />
這個是我web.config中屏蔽的ip，這里面的ip有百度蜘蛛的嗎？還有就是錯誤日志是在哪兒看的呢？
問：您好，日志保存在服務器上,是web服務所有用戶的錯誤記錄,無法單獨提供,上一條工單給您截取了日志,其中有顯示ip地址,而恰好對應您百度抓取時間以及具體url連接,所以這個ip就是百度的ip,請全部去掉您所攔截的ip,非常感謝您長期對我司的支持!
問：謝謝，220.181.108 這個ip確實是我屏蔽的，這個之前確實疑似百度蜘蛛，因為影響到客服軟件了。能不能幫我看看這個錯誤日志尼里面，這個ip的有多少呢？
問：您好，,如果要確定哪些ip是蜘蛛的,您先取消屏蔽ip,然后觀察幾天www日志,搜索baiduspier 行,看對應的ip地址即可,網上有百度蜘蛛的ip段http://www.yushuoseo.com/seopeixun/59.html 但我們無法確認是否全面,非常感謝您長期對我司的支持!
