SOSO流氓蜘蛛:用.htaccess禁止IP段彻底封掉SOSO


今天查看网站统计, SOSO蜘蛛又大量的冒出来了, 我记得在robots.txt里面禁止了SOSO蜘蛛的爬取,怎么还来. 原来SOSO是完全无视robots.txt的, 其实SOSO的流氓行为不止于此, 观察谷歌蜘蛛的IP总是同一个, 而SOSO每次爬取都用不同的IP, 所以禁止单个的IP对他也不起作用, 还有UserAgent的,所有的蜘蛛都会在其中标明自己是蜘蛛,但是SOSO有时候会伪装成合法的用户,有时候是IE6, 有时候是TencentTraveler, 也就是说为了作恶, SOSO蜘蛛不惜穿两层甚至三层马甲,就为了逃避封锁. 看来江湖传言, "狗日的"名号并不是自封的, 而是名副其实.

下面是禁止其IP段的代码

order allow,deny
Deny from 124.115.0
Deny from 124.115.4
Deny from 58.61.164
Deny from 114.80.93
Allow from all