蜘蛛日志分析是网站优化的重要环节，蜘蛛日志分析的工具有有多，比如光年、落个好，等工具，想使用高逼格一点的工具只有这个了（Cygwin Terminal）。我相信这个软件很少人会在用了。下面来介绍一下这款软件的使用方法吧（shell指令的使用方法）。
现在把罗列下这些项：
//统计不重复抓取数量
//统计所有状态码数量
//统计某个目录抓取次数
//统计各个目录出现404响应码次数
//统计404页面的抓取数量
//统计每个ip下对应URL的抓取次数
//提取百度蜘蛛访问数量前10的网站目录及访问次数，并按降序排列
//提取某个目录百度蛛蛛访问次数
对于不懂的命令符，大家还是多百度，多问 因为我底下这些都是这样过来的，欢迎评论提问，吐槽。。。指正。。。
下面我们就进入演示。。。。请大家盯紧了。。
对于不懂的命令符，大家还是多百度，多问 因为我底下这些都是这样过来的，欢迎评论提问，吐槽。。。指正。。。
下面我们就进入演示。。。。请大家盯紧了。。
//统计不重复抓取数量
cat baidu.log | awk ‘{print $4}’|sort|uniq|wc -l
//统计所有状态码数量
awk ‘{print $10}’ baidu.log |sort|uniq -c
//统计某个目录抓取次数
grep “/shop” baidu.log | awk ‘{print $4}’ |sort |wc –l
//统计各个目录出现404响应码次数
awk ‘{if($10==”404″){print $0}}’ baidu.log|sort|uniq -c|wc -l
//统计404页面的抓取数量
awk ‘{if($10==”404″){print $0}}’ baidu.log|sort|uniq|wc -l
//统计每个ip下对应URL的抓取次数
awk ‘{print $6,$4}’ baidu.log |sort|uniq –c
//提取百度蜘蛛访问数量前10的网站目录及访问次数，并按降序排列
awk ‘{print $4}’ baidu.log |grep -P “[^/(a-zA-Z)|^/(a-zA-Z)/]”|awk -F”/” ‘{print $2}’|sort|uniq -c|sort -r|head -10
//提取某个目录百度蛛蛛访问次数
cat baidu.log | grep “/shop/”| wc –l
cat baidu.log |awk ‘{print $4}’ |grep “/shop/” |wc –l
cat baidu.log |awk ‘{print $4} |awk –F”/” ‘{print $2}’|grep “shop”|wc -l
