greensea 的 blog

N年前就想用AWStats来统计网站访问日志了，不过当时找了一下资料，找到的中文资料很少。资料少其实不是问题，问题在于，有一份资料上提到如果要使用AWStats，必须将访问日志格式设定成AWStats指定的格式。这偶就没法接受了，根据YTS的实际情况，偶的访问日志多了一些AWStats默认支持的格式没有的字段。于是，当时就不用AWStats了。

最近又想部署访问统计系统，于是再次找到AWStats， 找到的资料还是N年前的那些，依然提到必须使用AWStats指定的日志格式。偶就不太相信了，一款如此流行的统计软件怎么会只支持单一的日志格式呢。于是偶继续找，最后果然发现，其实AWStats是支持自定义日志格式的，官方手册上都写有了，配置文件里面也以注释形式指出了如何使用自定义格式。

配置文件中有一个配置字段：LogFormat。如果该字段值设为1，则使用Apache的combined格式的日志。值为2的话则使用IIS的指定格式的日志。

实际上，配置文件里面也说得很清楚，可以通过设置LogFormat字段来指定自定义的日志格式。只要把LogFormat设置为一个字符串就可以了，这个字符串就是自定义的日志格式，定义格式和Apache的差不多，不过字段名字不同。至于每个字段是什么名字，配置文件中都写得很清楚，看看配置文件就知道了。

似乎英语苦手的人不少，偶顺便翻译一下配置文件里面的字段名字的说明吧：

继上次封了腾讯搜搜的流氓蜘蛛以后，樱町清净了一段时间。不过前几天我又发现了樱町的动态IP屏蔽列表里面出现了一串IP，不仅访问数量不少，还都是同一个网络内的。

上网查了一下58.61.164这个地址，发现很多网站都对这个IP采取措施了，而且还说是腾讯的蜘蛛。不过虽然是这样说，但是不想上次那样有确切的证据能证明这个IP是腾讯的。

这个流氓蜘蛛伪装成IE，访问频率也很不正常。而且还动用了多个IP地址来访问（虽然可能是某个IP被禁止以后就使用另外一个IP继续访问），这还真是很糟糕的蜘蛛啊。

既然如此，就不用麻烦樱町的动态IP屏蔽系统了，直接在Apache的配置文件里封了这个IP，省心省力。

对了，决定封掉这个IP前我还到樱町后台查询了一下历史登录记录，没有发现有登录来自这个IP，看来这IP果然是专用的，放心封杀吧。

最后附上我发现樱町动态IP屏蔽系统里面出现这个IP时候的截图，以及今天这个IP对樱町相关访问的Apache日志，大家参考吧

上面是截取下面这个文件的片段，下面这个文件是从今天樱町访问日志中过滤出来的58.61.164的访问记录。因为单个IP很快就被樱町动态IP屏蔽系统所屏蔽，所以在这个日志里面没有反映出网上所说的这个蜘蛛的疯狂程度。

这个帖子竟然绕过了YT的广告帖子防火墙，看了看它的特征，果然啊，这样的广告是YT以前没有遇到过的，于是也就没有针对这种类型的广告的规则，所以就广告帖子防火墙就漏过了这个广告。

对比偶在《YT的反广告贴子的策略》中写的办法，看看这个广告是怎样绕过YT广告帖子防火墙的。

首先发表这个帖子的用户发帖数少于20，并且帖子字数也比较多，于是这两个先决条件满足了，下面再来看看后继的条件。

一些变态的网络爬虫和几乎所有的群发器都是很让人恼火的。群发器就不用说了，占了服务器的带宽不说，还免费使用我们的网站来发布它们的商业广告。按照市场经济来说，这种未经他人许可免费利用他人资源为自己进商业宣传的行为应该是不能为市场所接受的，政府应该对此种行为进行规范，制定有关的法律法规以维护这些网站的利益。

好了下面进入本文的正题。樱町论坛是动网的，而且版本还是7.1的，版本的落后就导致了樱町论坛无法应对目前的网络环境。最让我根绝不爽的就是，这个版本的论坛未注册用户的判定是基于小甜饼的，但是很多群发器和爬虫不会接受和发送小甜饼，这就导致了即使是使用同一个IP进行访问的爬虫或群发器，只要它不发送小甜饼，动网就会把这个群发器的间隔不久的多次访问认为是多个用户的第一次访问，于是在线列表中就出现了很多游客，而这些游客的IP都是相同的。樱町论坛在最疯狂的时候出现了上千人同时在线，虽然那个情况我没有亲眼见到，但是可以想象，在线列表里面肯定是一大堆IP相同的游客，加上相对少得可怜的注册用户。

广告帖子年年有，最近特别多

至少在几年前，广告帖子就已经存在，当时这些帖子主要是由程序自动登录论坛发布的。有这样的一些人，分析各大论坛程序的登录流程，并收集使用这些论坛程序的网站作为一个数据库，使用程序来批量访问这些网站，在上面发布广告。

对付这些注册机是相对简单的，只要设置一个比较好的注册问题就可以了，最常用的还是验证码。在以前，YT使用自己修改过的验证码机制，几乎挡住了所有的注册机器人（也许是所有的，不过没法精确计算）。在使用了信的验证码机制以后，YT的广告帖子数骤然下降。这种大好局面维持了一段时间以后，就被破坏了。

起初还以为是更新的注册机器人已经绕过了YT的验证码机制，不过据后来的情况分析，这些死灰复燃的垃圾帖子似乎并不是和以前一样是由注册机器人发布的，取代机器人的是——活人。

是活人的话，验证码就形同虚设了。到目前为止，我观察到的广告中QQ华夏的广告占了超过一半的份额。看来腾讯财大气粗啊，有如此多的钱来雇佣活人来发布广告。不过我不太清楚QQ华夏这种广告模式的运作过程，希望知道的人能介绍一下。