查日志发现有不少 IP 会隔 3 分钟抓取一次网站首页,不知道是干什么的
蛮多这种IP,每三分钟访问一次网站首页
很奇怪,不知道是干什么的?agent里也不写清楚,感觉是在检测我的网站有没有当机?
大家有遇到这种情况么? ----------------------- 以下是精选回复-----------------------
答:adsl 爬虫吧
答:是个什么站,有没有什么在线时间与等级挂钩,积分换内容之类的。
答:应该是监控,像阿里云这样的服务商都能设置这种监控.
答:监控爬虫
答:3 分钟一次 HEAD,10 分钟一次 GET,不像是做什么坏事
0条评论