搜索爬虫的IP段

来自Jamesqi
跳转至: 导航搜索

“搜索爬虫的IP段”和“常见搜索引擎蜘蛛(爬虫、机器人)IP地址段”在这里有相同的下面内容。

--James Qi 2008年10月27日 (二) 22:01 (CST)

  近一年来,网站多次出现负载超高的情况,严重的时候甚至导致根本无法访问,以前还以为是有无聊的人进行攻击,后来仔细研究发现基本上都是一些设计不良的搜索引擎蜘蛛(又称搜索引擎爬虫、搜索引擎机器人)频繁到访造成的。

  后来采取了一些办法,例如修改Robots.txt、增加Squid缓存、关闭计数器和全文检索等办法,总体来说有一些改善,但偶尔还是会遇到突发性负载增高的情况,最后不得不还是采取封IP的办法来保持网站正常运行。

  但封IP唯一担心的就是将搜索引擎蜘蛛拒之门外后,得不到相应的收录从而影响网站流量,所以封IP之前往往要查一查是否属于哪个搜索引擎抓取服务器群的IP地址段。于是在网上查了一些资料,现在收集整理如下:

蜘蛛名称 IP地址
Baiduspider

202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.*

YodaoBot

202.108.7.215 202.108.7.220 202.108.7.221

Sogou web spider

219.234.81.* 220.181.61.*

Googlebot

203.208.60.*

Yahoo! Slurp

202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.*

Yahoo ContentMatch Crawler

119.42.226.* 119.42.230.*

Sogou-Test-Spider

220.181.19.103 220.181.26.122

Twiceler

38.99.44.104 64.34.251.9

Yahoo! Slurp China

202.160.178.*

Sosospider 124.115.0.*
CollapsarWEB qihoobot

221.194.136.18

NaverBot

202.179.180.45

Sogou Orion spider

220.181.19.106 220.181.19.74

Sogou head spider

220.181.19.107

SurveyBot

216.145.5.42 64.246.165.160

Yanga WorldSearch Bot v

77.91.224.19 91.205.124.19

baiduspider-mobile-gate

220.181.5.34 61.135.166.31

discobot

208.96.54.70

ia_archiver 209.234.171.42
msnbot

65.55.104.209 65.55.209.86 65.55.209.96

sogou in spider

220.181.19.216

  以上内容将会逐步添加、修改,希望对遇到同样问题的朋友有帮助。

  如果您也知道一些以上没有记录的IP地址段,欢迎留言,谢谢!

标签:搜索引擎蜘蛛爬虫机器人IP
相关内容:
  1. 2010-07-08 22:42:29 让搜索引擎新收录1000万个页面
  2. 2010-03-13 11:36:54 又来一个害人的悟空蜘蛛:WukongSpider
  3. 2009-12-26 11:34:54 禁止搜索引擎收录维客网站(MediaWiki平台)的讨论(Talk)页面
  4. 2009-12-22 11:00:46 用Yahoo! Site Explorer向雅虎搜索引擎提供Sitemap
  5. 2009-12-21 17:43:56 向微软的Bing搜索引擎提供Sitemap
  6. 2009-09-25 10:01:21 从一幅机器人比赛照片看老外的科技热情
  7. 2009-09-07 22:09:20 腾讯搜搜独立了,网站解除对Sosospider屏蔽
  8. 2009-08-10 11:02:27 “IP树”导入37万条IP数据库,并运行更新、刷新链接
  9. 2009-07-17 11:50:26 设立新的实用查询网站-IP树
  10. 2009-05-11 23:04:54 给儿子的奖品:乐高机器人LEGO MINDSTORMS NXT 8527
  11. 2009-04-15 09:32:03 近期在当当网购买的一些网络技术相关书籍
  12. 2008-11-22 18:36:07 给有道管理员的信(蜘蛛频率问题)
  13. 2008-11-11 10:36:54 为雅虎蜘蛛设置抓取频率限制
  14. 2008-11-10 11:14:55 给搜搜蜘蛛(Sosospider)的信(请勿骚扰)
  15. 2008-10-29 00:07:51 在Squid设置中多管齐下防止蜘蛛频繁抓取

别名:搜索引擎蜘蛛服务器的IP地址段搜索蜘蛛的IP段搜索爬虫的IP段

关于“搜索爬虫的IP段”的留言:

目前暂无留言

新增相关留言