greensea 的 blog

一些变态的网络爬虫和几乎所有的群发器都是很让人恼火的。群发器就不用说了，占了服务器的带宽不说，还免费使用我们的网站来发布它们的商业广告。按照市场经济来说，这种未经他人许可免费利用他人资源为自己进商业宣传的行为应该是不能为市场所接受的，政府应该对此种行为进行规范，制定有关的法律法规以维护这些网站的利益。

好了下面进入本文的正题。樱町论坛是动网的，而且版本还是7.1的，版本的落后就导致了樱町论坛无法应对目前的网络环境。最让我根绝不爽的就是，这个版本的论坛未注册用户的判定是基于小甜饼的，但是很多群发器和爬虫不会接受和发送小甜饼，这就导致了即使是使用同一个IP进行访问的爬虫或群发器，只要它不发送小甜饼，动网就会把这个群发器的间隔不久的多次访问认为是多个用户的第一次访问，于是在线列表中就出现了很多游客，而这些游客的IP都是相同的。樱町论坛在最疯狂的时候出现了上千人同时在线，虽然那个情况我没有亲眼见到，但是可以想象，在线列表里面肯定是一大堆IP相同的游客，加上相对少得可怜的注册用户。

为了屏蔽日益增多的同IP游客，我设定了一个定时器程序。这个程序每隔1分钟就读取一次在线列表，查找其中具有相同IP的游客，计算同一个IP被多少个游客同时使用。如果一个IP同时被4个或以上的游客使用，则将此IP屏蔽。接着，读取当前已经屏蔽的IP列表，针对每一个IP，在当前的在线列表中查询是否还有游客在使用这个IP，如果没有的话就将此IP从被屏蔽列表中删除。

这样做以后我时不时都能看到有几个IP被临时屏蔽了。

但好梦不长，就在前不久，恶魔出现了

偶在在线列表中看到了多个124.115.0打头的一群IP，偶尔还有一两个124.115.4.x的IP。我震惊了，谷歌一下，发现这IP荼毒挺广的，很多站长都封了这个IP。接着偶在一个博客上发现，这个IP和腾讯搜搜的服务器IP是一样的。而且这个IP发送的用户代理中也有soso spider的字样。腾讯难道也搞这种流氓？网上有很多人说百度蜘蛛很疯狂，但我一点感觉都没有，倒是这个腾讯的蜘蛛让我”颇有感触“了。

我是我也动手查证，首先查询搜搜新闻的服务器IP。偶先在目前偶常用的一台使用铁通服务网通出口的电脑上查询搜搜新闻的IP，但是查出来的结果却是124.89.30.x，这显然和124.115不在同一个网段嘛，而且124.115.0.x这个IP从ip138上查询到的结果是甘肃的，当时我就认为其实这是别人假冒腾讯的蜘蛛来抓取网页。但没多久我又想到，可能这是因为使用的网络不同呢？于是我连接到一台使用电信的电脑，查了一下搜搜新闻的IP，果然，结果124.115.1.53和124.115.1.20。虽然不是124.115.0.x，但是别忘了，伴随着124.115.0.x出现的还有124.115.4.x，这个蜘蛛是腾讯派出的应该没错了。

到现在为止也就查出了这个蜘蛛是腾讯的而已，樱町论坛的在线列表还是有一大群124.115.0.x，好吧，既然如此，我就封掉整个124.115.0.x所在的网络好了。

因为也124.115.4.x这个IP出现，所以就把124.115.0.0/255.255.248.0这个网段给咔嚓了。

于是，世界清净了

（第一次命令写错了……请无视……）