总结一下最近碰到的蜘蛛


因为Google Analytics被墙的原因, 前段时间用了一个小脚本PHP简单网站访问统计, 结果访客没有发现几个, 倒是发现了一大堆蜘蛛, 形形色色的, 阿猫阿狗都有.

Bing的蜘蛛

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)    

有道蜘蛛

Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; )    

百度蜘蛛

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)    

搜狗蜘蛛

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)    

谷歌蜘蛛

Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)    

谷歌蜘蛛有好几种

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)    

谷歌Adsense蜘蛛

Mediapartners-Google    

这个不知道哪里来的.

Mozilla/5.0 (compatible; DCPbot/1.2; +http://domains.checkparams.com/)    

搜搜

Sosospider+(+http://help.soso.com/webspider.htm)    

Yandex,来自俄罗斯的蜘蛛

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)    

这个恐怕还不能算是蜘蛛

Wget/1.9+cvs-stable (Red Hat modified)