如何通过网站日志来查看百度爬虫每次来的信息

我们做好网站SEO优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,下面的Centos命令可以让你清楚的知道蜘蛛的爬行情况。下面我们针对nginx服务器进行分析,日志文件所在目录:/usr/local/nginx/logs/access.log,access.log这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大(超过30MB)建议别用这些命令分析,因为这些命令很消耗CPU,或者wget下来放到分析机上执行,以免影响网站的速度。


[……]

阅读全文