网站日志又称蜘蛛日志，它是成千上万个“蜘蛛”小爬虫程序每天爬行数千万个网站，这个小爬虫程序就是“蜘蛛”，它在网站爬行后留下的轨迹或痕迹就是“日志”。
一、国内常见的蜘蛛名称：Baiduspider；360Spider；sogou spider。
二、在分析日志时需要熟知蜘蛛HTTP状态码：
2XX：抓取成功，200抓取全部成功。
3XX：重定向，301永久重定向。
4XX：客户机出现错误，404找不到指定文档。
5XX：服务器出现错误。
三、完整的一串蜘蛛日志都包括那些：蜘蛛访问IP；访问时间；获取方法；访问的页面；返回状态码；页面抓取字节；蜘蛛名称及蜘蛛地址。
对于一个刚上线的网站，我们能分析出来搜索引擎蜘蛛抓取的情况；如果网站长时间收录有问题，那么我们也可以对比网站日志中的搜索引擎蜘蛛行为，来了解网站是哪方面出了问题；如果网站被封，或者被K，我们都可以通过观察网站日志的情况来了解原因出在什么地方。我们要看的网站日志的分析和诊断就像给网站看病一样，我们通过网站日志的分析，可以简单明了的就知道网站的健康状况，可以利于我们更好的做网站优化，所以对于真正的SEO高手而言，分析蜘蛛日志是最直观，最有效的额。
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024