像很多开始学SEO的新手一样
SEO地爱歪也对这个问题有过迷惑,认为百度、gg等的蜘蛛都是晚上爬行
这也是很多SEO高手或大师们的说法
所以造成了大多数SEO们的认识
可是就在前几天,SEO地爱歪也想真正寻求这个问题的答案
而方法就是分析WEB服务器的访问日志。
今天我就下载网站的日志,并带领大家一起寻找百度SPIDER的踪迹。
我用的万网的UNIX服务器,可能有的朋友跟我的不同,不过大同小异
1、我们FTP到网站目录
2、打开wwwlogs目录,如果根目录下没用该目录,请询问服务商的技术支持,反正这一步找到日志文件的存放路径
3、查看日志文件,一般来讲,访问日志会按照日期进行存储,比如SEO地爱歪的就是access.log.2.gz
4、我们拖放该文件到本地
5、解压,然后用写字板打开,一般用记事本打开会显示得很乱
6、查询baiduspider,
7、在结果中查看百度蜘蛛的爬行痕迹,如图所示:
8/我们继续寻找百度蜘蛛的踪迹,下面是百度蜘蛛晚上3点
61.135.168.39 - - [23/Jun/2008:03:06:59 +0800] "GET / HTTP/1.1" 200 6248 "-" "Baiduspider+(+
9、下图是我们本文的重点,
61.135.168.35 - - [23/Jun/2008:10:39:52 +0800] "GET / HTTP/1.1" 200 6248 "-" "Baiduspider+(+
我们可以很明白的看到百度蜘蛛上午10点仍然在爬行我的站点。
10、我们继续寻找,可以看到11点12点13点、14点的爬行踪迹。
总之,百度蜘蛛爬行不一定只有晚上,可能白天也很多,换点石的一位会员的说法是:
如果你的网站很美味
中午和下午都会再回来
否则
原文:http://www.seo-diy.cn/post/baidu-spider-shenme-shihou.html
作者:SEO地爱歪邓佑权