服务器上的爬虫为什么就会被目标网站识别出来？

很多网络爬虫爬着爬着就爬不动了，换个方法继续爬一会又趴窝了，使出浑身解数大战三百回合，哪怕使用了代理IP，也依然败下阵来，那么问题到底出在哪呢？究根结底，是没有找出到底是谁泄了密，是谁告诉了目标网站自己是爬虫。

　　一般来说，网站会通过以下几个方面来识别对方是爬虫还是真实用户，让我们一起来看看吧。

　　一、单一IP非常规的访问频次

　　我们经常会遇到这样一种情况，当我们在某个网站上发帖时，会提示“发帖过快，请等待XX秒”，或者提示“刷新频率过快，请歇一会”，这都是网站为了缓解压力才对“用户”作出的限制。而爬虫相对于真实用户来说更疯狂，访问的频次更快，如果单一IP访问频次非常高，那么将会被判为“爬虫”，进而受到限制。

　　二、单一IP非常规的数据流量

　　当单一IP的数据流量非常大时，也会引起网站的注意。说到数据流量有些朋友就会有疑问了，下载站的数据流量大也是很正常的。这里说的数据流量不只是单一的下载数据流量，而是大量的并发请求。高并发请求很容易对服务器造成高负荷，所以受到限制也是很正常的。

　　三、大量重复简单的网站浏览行为

　　我们知道，不同的用户浏览速度、习惯等都不相同，有的人浏览一个页面需要五秒，有的需要思考一分钟等等，当存在大量的用户IP都是千篇一律的浏览速度，比如3秒访问一个页面，那么这就非常可疑了，受到封杀也是正常的，就算用了代理IP也避免不了。

　　四、headers头部校验

　　除了上面3个比较明显的爬虫行为，网站还会校验headers。headers头部的参数很多，其实也容易伪装，但有些初学者往往会忽略。比较常见的是User-Agent、Referer这两个参数，不同的浏览器有不同的User-Agent，访问来源也各不相同，如果不注意的话，很容易被识别。

　　五、链接陷阱

　　我们知道，爬虫爬取页面时，会识别页面中所有的URL地址去爬取，特别是一些没有明确目标的爬虫。有的网站会将一些链接放在CSS里或者JS里，这些链接正常用户是不会去访问的，它们就相当于陷进，作用是钓出爬虫，一不小心就容易中招。

　　以上五点是比较常见的识别爬虫的手段，要想不被目标网站这么快识别，就要有效的规避这五点，做好爬虫策略，当然反爬手段远远不止这些，这就需要好好研究了。

个人感觉免费的爬虫软件都是给别人当肉鸡，爬虫最大的问题就是**了，没有代理几下就会被网站反爬了，问题是高质量的**很贵的，一个vps拨号服务器只能并发一个ip，虽然可以换但是并发只有一个，一月100块钱，比如他有10000个免费用户，那他一个月运营成本就代理池最起码70多万，你免费用运营方承受不了，如果把这一万用户都变代理服务器，那就赚大发了，那运营方就有一万个免费的**池，那就是你用别的用户ip别的用户也用你的ip，大家都把ip共享了那么优质的代理池就建起来了，然后把付费用户用普通用户的终端进行代理，

排名前20的网络爬虫工具，Mark!

网络爬虫在许多领域都有广泛的应用，它的目标是从网站获取新的数据，并加以存储以方便访问。网络爬虫工具越来越为人们所熟知，因为它能简化并自动化整个爬虫过程，使每个人都可以轻松访问网络数据资源。

1Octoparse

Octoparse是一个免费且功能强大的网站爬虫工具，用于从网站上提取需要的各种类型的数据。它有两种学习模式-向导模式和高级模式，所以非程序员也可以使用。可以下载几乎所有的网站内容，并保存为EXCEL，TXT，HTML或数据库等结构化格式。具有ScheduledCloudExtraction功能，可以获取网站的最新信息。提供IP代理服务器，所以不用担心被侵略性网站检测到。

总之，Octoparse应该能够满足用户最基本或高端的抓取需求，而无需任何编码技能。

2CyotekWebCopy

WebCopy是一款免费的网站爬虫工具，允许将部分或完整网站内容本地复制到硬盘以供离线阅读。它会在将网站内容下载到硬盘之前扫描指定的网站，并自动重新映射网站中图像和其他网页资源的链接，以匹配其本地路径。还有其他功能，例如下载包含在副本中的URL，但不能对其进行爬虫。还可以配置域名，用户代理字符串，默认文档等。

但是，WebCopy不包含虚拟DOM或JavaScript解析。

3HTTrack

作为网站爬虫免费软件，HTTrack提供的功能非常适合从互联网下载整个网站到你的PC。它提供了适用于Windows，Linux，SunSolaris和其他Unix系统的版本。它可以镜像一个或多个站点（共享链接）。在“设置选项”下下载网页时决定要同时打开的连接数。可以从整个目录中获取照片，文件，HTML代码，更新当前镜像的网站并恢复中断的下载。

另外，HTTTrack提供代理支持以最大限度地提高速度，并提供可选的身份验证。

4Getleft

Getleft是一款免费且易于使用的网站抓取工具。启动Getleft后输入URL并选择应下载的文件，然后开始下载网站此外，它提供多语言支持，目前Getleft支持14种语言。但是，它只提供有限的Ftp支持，它可以下载文件但不递归。

总体而言，Getleft应该满足用户的基本爬虫需求而不需要更复杂的技能。

5Scraper

Scraper是一款Chrome扩展工具，数据提取功能有限，但对于在线研究和导出数据到GoogleSpreadsheets非常有用。适用于初学者和专家，可以轻松地将数据复制到剪贴板或使用OAuth存储到电子表格。不提供全包式抓取服务，但对于新手也算友好。

6OutWitHub

OutWitHub是一款Firefox插件，具有数十种数据提取功能，可简化网页搜索。浏览页面后会以适合的格式存储提取的信息。还能创建自动代理来提取数据并根据设置对其进行格式化。

它是最简单的网络爬虫工具之一，可以自由使用，提供方便的提取网页数据而无需编写代码。

7ParseHub

Parsehub是一款出色的爬虫工具，支持使用AJAX技术，JavaScript，cookies等获取网页数据。它的机器学习技术可以读取、分析网页文档然后转换为相关数据。Parsehub的桌面应用程序支持Windows，MacOSX和Linux等系统，或者你可以使用浏览器内置的Web应用程序。

8VisualScraper

VisualScraper是另一个伟大的免费和非编码爬虫工具，只需简单的点击界面就可从网络上收集数据。可以从多个网页获取实时数据，并将提取的数据导出为CSV，XML，JSON或SQL文件。除了SaaS之外，VisualScraper还提供网络抓取服务，如数据传输服务和创建软件提取服务。

VisualScraper使用户能够在特定时间运行他们的项目，还可以用它来获取新闻。

9Scrapinghub

Scrapinghub是一款基于云计算的数据提取工具，可帮助数千名开发人员获取有价值的数据。它的开源可视化抓取工具允许用户在没有任何编程知识的情况下抓取网站。

Scrapinghub使用Crawlera，这是一种智能代理旋转器，支持绕过bot机制，轻松地抓取大量受bot保护的网站。它使用户能够通过简单的HTTPAPI从多个IP和位置进行爬网，而无需进行代理管理。

10Dexiio

作为基于浏览器的爬虫工具，L、数据库等，也可以导出到网站，如下：

八爪鱼采集器

1首先，下载安装八爪鱼采集器，这个也直接到官网上下载就行，如下，也是免费的，目前只有Windows平台的：

2安装完成后，打开这个软件，进入主界面，这里我们选择“自定义采集”，如下：

3接着输入我们需要采集的网页地址信息，就会自动跳转到对应页面，这里以采集大众点评上的评论信息为例，如下：

4这时你就可以直接鼠标点击需要采集的网页信息，按照操作提示步骤一步一步往下走就行，非常简单容易，如下：

5最后点击采集数据，启动本地采集，就会自动开始采集数据，如下，已经成功采集到我们需要的网页信息：

这里你也可以点击“导出数据”，将采集的数据保存为你需要的数据格式，如下：

总的来说，这2个软件使用起来都非常简单，只要你熟悉一下操作环境，很快就能掌握使用的，当然，你也可以使用其他爬虫软件，像火车头采集器等也都可以，网上也有相关教程和资料，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助。

瑞雪采集云，发源地采集引擎，saas云端架构，国内最有名的，没有之一

国内比较出名的爬虫软件，一个是八爪鱼，一个是火车头。他们都提供图形界面的操作，都有自己的采集规则市场。你可以买一些采集规则，然后自己抓取数据，当然你也可以直接买别人采集好的数据。

国外的比较出名的采集软件有diffbot和importio这两个都可以称之为神器。都是输入网址，提供可视化图形操作界面。给定采集字段，就可以预览采集的结果。可以说非常方便，导出格式也很多，可以excel，也可以是数据库。

在爬虫的时候，被爬网站是有反爬虫机制的，如果使用一个IP反复访问一个网页，就容易被出现IP限制，无法再对网站进行访问，这时就需要用到代理IP。

爬虫在抓取一个网站数据的时候，就相当于反复向一个人打招呼，有非常大的几率会被拉黑。使用代理IP更换不同IP，对方网站每次都以为是新用户，自然就没有拉黑的风险。

如果业务量不大，工作效率并没有太大要求，可以不使用代理IP。如果工作任务量大，抓取速度快，目标服务器会容易发现，所以就需要用代理IP来换IP后再抓取。通过以上的介绍，说明网络爬虫不是必须使用代理IP，但确是高效工作的好工具。目前ipidea已向众多互联网知名企业提供服务，对提高爬虫的抓取效率提供帮助，支持API批量使用，支持多线程高并发使用。

网络爬虫软件怎么使用 5分

搜索引擎使用网络爬虫寻找网络内容，网络上的HTML文档使用超链接连接了起来，就像功成了一张网，网络爬虫也叫网络蜘蛛，顺着这张网爬行，每到一个网页就用抓取程序将这个网页抓下来，将内容抽取出来，同时抽取超链接，作为进一步爬行的线索。网络爬虫总是要从某个起点开始爬，这个起点叫做种子，你可以告诉它，也可以到一些网址列表网站上获取

网页抓取/数据抽取/信息提取软件工具包MetaSeeker是一套完整的解决方案，里面有定题网络爬虫，也叫聚焦网络爬虫，这种爬虫抓取下来一个页面后并不抽取所有的超链接，而是只找主题相关的链接，笼统的说就是爬行的范围是受控的。网络爬虫实现代码主要集中在MetaSeeker工具包中的DataScraper工具。可以从 gooseeker网站下载下来看

请详细解释什么事百度爬虫，有什么作用

说通俗一点就是一段程序，这段程序可以在互联网上自动查询更新的网站

网站刚建好，没有信息，听说有个什么爬虫，可以自动抓取，怎么用？

你说的是自动采集的功能，这个需要插件支持自动采集并且你的空间也要支持自动采集如果你的空间不许你使用采集功能是会把你的网站删掉的因为采集占用的服务器资源很高，几乎没有空间支持采集功能你告诉我你使用的是什么建站系统，我可以给你参考参考如果你需要采集功能可以采用狂人采集器，和很多建站程序都有接口的！

另外搞采集一般都是搞垃圾站的呵呵

网络爬虫是什么，有很大的作用吗

网络爬虫又被称为网页蜘蛛，聚焦爬虫，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成搐传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

如何利用python写爬虫程序

这里有比较详细的介绍

blogcsdn/column/details/why-bug

java 网络爬虫怎么实现

代码如下:package webspider;import javautilHashSet;import javautilPriorityQueue;import javautilSet;import javautilQueue;public class LinkQueue { 已访问的 url private static Set visitedUrl = new HashSet(); 待访问的 url private static Queue unVisitedUrl = new PriorityQueue(); 获得URL队列 public static Queue getUnVisitedUrl() { return unVisitedUrl; } 添加到访问过的URL队列中 public static void addVisitedUrl(String url) { visitedUrladd(url); } 移除访问过的URL public static void removeVisitedUrl(String url) { visitedUrlremove(url); } 未访问的URL出队列 public static Object unVisitedUrlDeQueue() { return unVisitedUrlpoll(); } 保证每个 url 只被访问一次 public static void addUnvisitedUrl(String url) { if (url != null && !urltrim()equals("") && !visitedUrlcontains(url) && !unVisitedUrlcontains(url)) unVisitedUrladd(url); } 获得已经访问的URL数目 public static int getVisitedUrlNum() { return visitedUrlsize(); } 判断未访问的URL队列中是否为空 public static boolean unVisitedUrlsEmpty() { return unVisitedUrlisEmpty(); }}

如何用Java写一个爬虫

import javaioFile;import javaURL;import javaURLConnection;import javaniofileFiles;import javaniofilePaths;import javautilScanner;import javautilUUID;import javautilregexMatcher;import javautilregexPattern; public class DownMM { public static void main(String[] args) throws Exception { out为输出的路径,注意要以\\结尾 String out = "D:\\JSP\\pic\\java\\"; try{ File f = new File(out); if(! fexists()) { fmkdirs(); } }catch(Exception e){ Systemoutprintln("no"); } String url = "mzitu/share/ment-page-"; Pattern reg = Patternpile(">

网络爬虫软件怎么使用？急！！！！！！！！！！

每个人写的程序用法都不一样，你自己再看下文档吧，里面应该有格式！别这么浪费分！

为什么写爬虫都喜欢用python

有更加成熟的一种爬虫脚本语言，而非框架。是通用的爬虫软件ForeSpider，内部自带了一套爬虫脚本语言。

从一个专业C++程序猿的角度说，网上流传的各种Java爬虫，Python爬虫，Java需要运行于C++开发的虚拟机上，Python只是脚本语言，采集效率和性能如何能与强大的C++相提并论？C++直接控制系统的底层，对内存空间的控制和节省都是其他语言无法竞争的。首先，forespider的开发语言是C++，而且C++几乎没有现成的框架可以用，而火车采集器是用的C#。先从业界水平和良心来说，这个软件可以做到从底层到上层都是他们的技术人员自己写的，而非运用现成的框架结构。

其次，因为抓取金融行业的数据，数据量大，动态性强，而采集对象一般反爬虫策略又很严格。所以，专门建立团队开发不现实。请外包人员开发太贵。买现成的软件，要考虑性价比。因为很多数据需要登录，需要验证码，是JS生成的数据，是ajax，是协议，有加密的key，有层层的验证机制等等，分析市面上所有找得到的爬虫软件，没有找到其他一家可以完全把我们列表上的网站采集下来的软件。forespider功能强大，这是很重要的一点。

第三，forespider在台式机上运行一天可以采400万条数据，在服务器上一天可以采8000万条数据。这样一来，数据更新速度明显比以前快了几十倍。从前抓一个7500万的网站需要好几个月，等抓完数据早都变化的不成样子了，这是很多爬虫的痛处。但是现在的更新速度只有两三天。forespider的性能强大，这也是非常好的一点。

第四，其实完全可视化的采集也不需要计算机专业的。大致学习了之后就可以上手采。而且forespider关于数据的管理做的很好。一是软件可以集成数据库，在采集之前就可以建表。二是数据可以自动排重，对于金融这样数据更新要求很高的行业，就特别合适。

第五，是关于免费的问题，我觉得免费的东西同时还能兼顾好用，只能是中国的盗版软件和手机APP。大概是大家都习惯了在软件上不花钱，所以都想找到免费的。forespider有免费版的，功能倒是不限制，但是采集数目每天有限制。

最好用的免费爬虫工具是什么

如果说好用的爬虫软件，那确实很多，不过首推造数。

造数云爬虫，界面简洁，操作超级简便免下载。

现在我们有商务定制需求也会找造数的客服解决。效率很高，不错。

首先明白，webmagic中是存在一个待爬取得队列的，所有将要爬取得links都存放在这个队列里面，每次爬虫取一个link爬取，下载页面后分析出页面的内容产生新的link，新的link又推入队列，如此工作这里不讨论去重了。webmagic依靠继承schedler类来维护待爬取得links，如果对页的爬虫的效率有要求，那就不能通过设定访问时间间隔的方法来绕过频率检查了。

代理IP访问可以解决这个问题，如果用100个代理IP访问100个页面，可以给网站造成一种有100个人，每个人访问了1页的错觉，这样自然而然就不会限制你的访问了。

代理IP经常会出现不稳定的情况。你随便搜一个免费代理，会出现很多网站，每个网站也会给你很多的代理IP，但实际上，真正可用的代理IP并不多。

这需要维护一个可用的代理IP池，但是一个免费的代理IP，也许在你测试的时候是可以使用的，但是几分钟以后就失效了，使用免费代理IP是已经费时费力，而且很考验你运气的事情。

可以使用分布式爬虫，分布式爬虫会部署在多台服务器上，每个服务器上的爬虫统一从一个地方拿网址。这样平均下来每个服务器访问网站的频率也就降低了。

由于服务器是掌握在我们手上的，因此实现的爬虫会更加的稳定和高效，这样就可以控制访问层数的控制与查看了。

选择Python作为实现爬虫的语言，其主要考虑因素在于：

(1) 抓取网页本身的接口

相比其他动态脚本语言(如Perl、Shell)，Python的urllib2包提供了较为完整的访问网页文档的API;相比与其他静态编程语言(如Java、C#、C++)，Python抓取网页文档的接口更简洁。

此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这时我们需要模拟User Agent的行为构造合适的请求，譬如模拟用户登录、模拟Session/Cookie的存储和设置。在Python里都有非常优秀的第三方包帮你搞定，如Requests或Mechanize。

(2) 网页抓取后的处理

抓取的网页通常需要处理，比如过滤Html标签，提取文本等。Python的Beautiful Soup提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

其实以上功能很多语言和工具都能做，但是用Python能够干得最快、最干净，正如这句“Life is short，you need Python”。

(3) 开发效率高

因为爬虫的具体代码根据网站不同而修改的，而Python这种灵活的脚本语言特别适合这种任务。

(4) 上手快

网络上Python的教学资源很多，便于大家学习，出现问题也很容易找到相关资料。另外，Python还有强大的成熟爬虫框架的支持，比如Scrapy。