假期必看全网最全Ph爬虫库

最全Python爬虫库

Python爬虫库推荐

通用：

1urllib-网络库(stdlib) 。

2requests-网络库。

3grab-网络库(基于py curl) 。

4py curl-网络库(绑定libcurl) 。

5urllib 3-Python HTTP库， 安全连接池、支持文件post

、可用性高。

6httplib 2-网络库。

7Robo Browser-一个简单的、极具Python风格的

Python库， 无需独立的浏览器即可浏览网页。

8Mechanical Soup一一个与网站自动交互Python库。

9mechanize-有状态、可编程的Web浏览库。

10socket-底层网络接口(stdlib) 。

11Uni rest for Python-Uni rest是一套可用于多种语言的

轻量级的HTTP库。

12hyper-Python的HTTP/2客户端。

13Py Socks-Socks iPy更新并积极维护的版本， 包括错误

修复和一些其他的特征。作为socket模块的直接替换。

网络爬虫框架

1功能齐全的爬虫

·grab-网络爬虫框架(基于py curl/multi cur) 。

·scrap y-网络爬虫框架(基于twisted) ， 不支持

Python 3。

mpy spider-一个强大的爬虫系统。

·cola-一个分布式爬虫框架。

2其他

·portia-基于Scrap y的可视化爬虫。

rest kit-Python的HTTP资源工具包。它可以让你轻松地

访问HTTP资源， 并围绕它建立的对象。

·demiurge-基于Py Query的爬虫微框架。

HTML/XML解析器

1通用

·lxml-C语言编写高效HTML/XML处理库。支持XPath。

·css select-解析DOM树和CSS选择器。

py query-解析DOM树和j Query选择器。

Beautiful Soup-低效HTML/XML处理库， 纯Python实

现。

·html5lib-根据WHATWG规范生成HTML/XML文档的

DOM。该规范被用在现在所有的浏览器上。

·feedparser-解析RSS/ATOM feeds。

·Markup Safe-为XML/HTML/XHTML提供了安全转义的

字符串。

·xml to dict-一个可以让你在处理XML时感觉像在处理

JSON一样的Python模块。

·xhtml 2pdf-将HTML/CSS转换为PDF。

·untangle-轻松实现将XML文件转换为Python对象。

HTML/XML解析器

1通用

·lxml-C语言编写高效HTML/XML处理库。支持XPath。

·css select-解析DOM树和CSS选择器。

·py query-解析DOM树和j Query选择器。

·Beautiful Soup-低效HTML/XML处理库， 纯Python实

现。

·html5lib-根据WHATWG规范生成HTML/XML文档的

DOM。该规范被用在现在所有的浏览器上。

·feedparser-解析RSS/ATOM feeds。

·Markup Safe-为XML/HTML/XHTML提供了安全转义的

字符串。

·xml to dict-一个可以让你在处理XML时感觉像在处理

JSON一样的Python模块。

·xhtml 2pdf-将HTML/CSS转换为PDF。

·untangle-轻松实现将XML文件转换为Python对象。

文本处理

用于解析和操作简单文本的库。

1通用

2diff lib-(Python标准库) 帮助进行差异化比较。

3Levenshtein-快速计算Levenshtein距离和字符串相似度。

4fuzzy wuzzy-模糊字符串匹配。

5esm re-正则表达式加速器。

6ft fy-自动整理Unicode文本， 减少碎片化。

自然语言处理

处理人类语言问题的库。

·NL TK-编写Python程序来处理人类语言数据的最好平台。

·Pattern-Python的网络挖掘模块。他有自然语言处理工具

，机器学习以及其它。

·Text Blob-为深入自然语言处理任务提供了一致的API。是

基于NL TK以及Pattern的巨人之肩上发展的。

·jie ba-中文分词工具。

·Snow NLP-中文文本处理库。

·los o-另一个中文分词库。

浏览器自动化与仿真

·selenium-自动化真正的浏览器(Chrome浏览器， 火狐浏

览器， Opera浏览器， IE浏览器) 。

·Ghostpy-对PyQt的webkit的封装(需要PyQT) 。

·Spy nner-对PyQt的webkit的封装(需要PyQT) 。

·Splinter-通用API浏览器模拟器(selenium web驱动，

Django客户端， Zope) 。

多重处理

·threading-Python标准库的线程运行。对于I/O密集型任

务很有效。对于CPU绑定的任务没用， 因为python GIL。

multiprocessing-标准的Python库运行多进程。

·celery-基于分布式消息传递的异步任务队列/作业队列。

·concurrent-futures-concurrent-futures模块为调

用异步执行提供了一个高层次的接口。

异步

异步网络编程库

·async io-(在Python 34+版本以上的Python标准库

)异步/O，时间循环，协同程序和任务。

·Twisted-基于事件驱动的网络引擎框架。

·Tornado-一个网络框架和异步网络库。

·pulsar-Python事件驱动的并发框架。

·diesel-Python的基于绿色事件的I/O框架。

g event-一个使用green let的基于协程的Python网络库

·event let-有WSGI支持的异步框架。

·Tomorrow-异步代码的奇妙的修饰语法。

队列

·celery-基于分布式消息传递的异步任务队列/作业队列。

·huey-小型多线程任务队列。

·mrq-MrQueue-使用red is&G event的Python分

布式工作任务队列。

·RQ-基于Red is的轻量级任务队列管理器。

·simple q-一个简单的， 可无限扩展， 基于Amazon SQS

的队列。

·python-gear man-Gear man的Python API。

云计算

·pic loud-云端执行Python代码。

·dominoupcom-云端执行R， Python和matlab代码

网页内容提取

提取网页内容的库。

·HTML页面的文本和元数据

·newspaper-用Python进行新闻提取、文章提取和内容策

展。

·html2 text-将HTML转为Markdown格式文本。

·python-goose-HTML内容/文章提取器。

·lassie-人性化的网页内容检索工具

Web Socket

用于Web Socket的库。

·Crossbar-开源的应用消息传递路由器(Python实现的用

于Autobahn的Web Socket和WAMP) 。

·Autobahn Python-提供了Web Socket协议和WAMP

协议的Python实现并且开源。

·Web Socket-for-Python-Python 2和3以及PyPy的

Web Socket客户端和服务器库。

技术层面，爬虫核心是前端技术，黑客是为信息安全；数据层面，一个是公开，一个是私有。爬虫是黑客的一个小小技能。

数据公私之分

爬虫是获取公开的数据，黑客是获取私有的数据。一个是将用户浏览的数据用程序自动化的方式收集起来，一个是寻找漏洞获取私密数据，又可分为白帽黑客和黑帽黑客。

比如用户评论的数据，商品价格的信息，比如用户的视频，这些通过浏览器大众可以公开访问到的数据，可以通过爬虫技术获取，爬和反爬永远存在着斗争，因为爬虫是机器，非真正的用户。

而黑客如果获取用户银行账号，密码，公司私有数据等等，即使用到爬虫技术，但本质上是黑客，如果用于非法目的去获利，则是黑帽黑客。

技术领域不同

爬虫主要涉及前端和数据存储之分，比如通过模拟浏览器来将数据存储起来，对于一些反爬技术做的好的站点，你要模拟登录，cookie信息维护，有时还要翻看js代码，核心技术是前端。

而黑客核心技术是是信息安全，涉及领域众多，比如操作系统、网络技术、编程技术、硬件技术等，技术上黑客目的是寻找漏洞，一切达到目的技术都要为我所用。

道德之眼

如果要写爬虫，频率要放缓，否则会对服务器造成压力，影响真实用户体验。有些数据涉及版权，爬取和使用上要留心。

如果做黑客，做白帽黑客，不要为了短期内的私人利益把自己送进铁房子，不值得。

一、构建合理的HTTP请求头

HTTP的请求头是在你每次向网络服务器发送请求时，传递的一组属性和配置信息。由于浏览器和Python爬虫发送的请求头不同，有可能被反爬虫检测出来。

二、设置cookie的学问

Cookie是一把双刃剑，有它不行，没它更不行。网站会通过cookie跟踪你的访问过程，如果发现你有爬虫行为会立刻中断你的访问，比如你特别快的填写表单，或者短时间内浏览大量页面。而正确地处理cookie，又可以避免很多采集问题，建议在采集网站过程中，检查一下这些网站生成的cookie，然后想想哪一个是爬虫需要处理的。

三、正常的时间访问路径

合理控制采集速度，是Python爬虫不应该破坏的规则，尽量为每个页面访问时间增加一点儿间隔，可以有效帮助你避免反爬虫。

四、使用http

对于分布式爬虫和已经遭遇反爬虫的人来说，使用http将成为你的首选。Ipidea分布地区广，可满足分布式爬虫使用需要。支持api提取，对Python爬虫来说再适合不过。

相较于爬虫技术，反爬虫实际上更复杂。目前许多互联网企业都会花大力气进行“反爬虫”，网络爬虫不但会占据过多的网站流量，导致有真正需求的用户没法进入网站，另外也有可能会导致网站关键数据的外泄等现象。网络爬虫遍布互联网的各个角落，因此网络爬虫有好处也有坏处，接下来介绍一下和网络爬虫一同诞生的反爬虫技术，如何才能防止别人爬取自己的网站？

1、基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。

2、基于iptables和shell脚本：可以对nginx的accesslog进行策略定义，例如定义在1分钟内并发连接数超过30个ip为非法，如ip不在白名单内，则加入iptables策略封掉，当然这种的缺点是会有“误伤”，策略细粒度越小就会有更多的“误伤”，细粒度大就会使效果变差，另外还有类似的第三方工具fail2ban，利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址（例如网易、有道）的爬取行为拒绝也很难准确做到，因为你无法准确知道这些特定的爬虫ip地址。注意：建议不要用封ip条目的方式,iptables列表长度是65535时就会封满，服务器也就会死机。

3使用robotstxt文件：例如阻止所有的爬虫爬取，但是这种效果不是很明显。

User-agent:

Disallow: /

4使用nginx的自带功能：通过对httpuseragent阻塞来实现，包括GET/POST方式的请求，以nginx为例，具体步骤如下：

编辑nginxconf

拒绝以wget方式的httpuseragent，增加如下内容

## Block http user agent - wget ##

if ($http_user_agent ~ (Wget) ) {

return 403;

}

## Block Software download user agents ##

if ($http_user_agent ~ LWP::Simple|BBBike|wget) {

return 403;

平滑启动

# /usr/local/nginx/sbin/nginx -s reload

如何拒绝多种httpuseragent，内容如下：

if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {

return 403;

}

大小写敏感匹配

### 大小写敏感http user agent拒绝###

if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {

return 403;

}

### 大小写不敏感http user agent拒绝###

if ($http_user_agent ~ (foo|bar) ) {

return 403;

}

注意语法：~表示是大小写不敏感，~表示是大小写敏感

}

以上就是预防网站信息被别人爬取的一些方法，大量的爬取行为会对web服务器的性能有影响，所以一定要注重反爬虫措施。

写爬虫的小伙伴要注意，爬虫一时爽，但不是一直爬一直爽。

如果你的爬虫触犯了法律，可是要承担责任的哦，那么什么样的爬虫才算是安全的爬虫呢

现在我来结合一下实际情况，给几点建议吧：

1、爬虫访问频次要控制，别把对方服务器搞崩溃了

虽然你爬取的信息都是公开的，也不涉及公民隐私，爬取的数据也不用于违法获利，只是自己弄着玩，但是如果你的爬虫太疯狂了，一分钟请求1万次，导致对方服务器应接不暇，不能处理正常业务了，对不起，你这种属于违法行为，这种爬虫等同于进行黑客攻击了，你让人家不能正常工作了，损害了对方的利益

2、 涉及到个人隐私的信息你不能爬

其实这很好理解，你希望你自己的电话号，身份证号，家庭住址，工作单位，行踪轨迹这些隐私信息被别人用爬虫抓取么当然不希望，别人抓了你的这些信息，你肯定想去报警对不对，让警察去抓那个坏蛋，ok，你不要去做那个坏蛋。

3、 突破网站的反爬措施，后果很严重

正规的网站都会在根目录下放置

robotstxt，这里就规定了哪些能爬，哪些不能爬，谁可以爬。对于那种反爬特别严重的，例如淘宝，你最好别去爬，如果你真的利用你的高智商突破了淘宝的反爬措施，那么恭喜你，你已经违法了。

4、 不要用爬取的数据做不正当竞争

比如你把大众点评的评论数据都爬下来了，然后自己搞了一个xx点评，这肯定不行，人家辛辛苦苦的积累的数据，你轻轻松松的弄下来，直接拿来主义，跟人家搞竞争，你不违法谁违法。

5、 付费内容，你不要抓

既然是付费内容，说明这东西价值很高，付费才能看，你弄下来了，你想干啥你私自传播，就对网站造成了潜在损失。

6、最后一条，突破网站反爬措施的代码，最好不要上传到网上

你技术很牛逼，能突破网站的反爬措施，你把这些代码发布到网上，比如github，你自己没做啥坏事，可是想做坏事的人利用了你的代码，入侵了网站，那么，这种情况下，你也是有责任的，这个听起来有点冤，但确实存在这样的风险，所以，最好还是不要这么干。

支付宝在线拨测什么意思？

拨测是一种网络链路质量的测试手段。拨测，非常类似于爬虫，更准确地讲，非常类似于黑客控制“肉鸡”发起DDos攻击。这里的“肉鸡”，就是某个互联网服务的客户端，比如PC端、手机端。探测各地区用户到各个服务接入点的链路状况，这样，服务调度系统就可以根据探测结果为用户提供最佳的接入点。

拨测会占用网络资源，应该选择在空闲时间段进行；拨测也会消耗“肉鸡”的网络流量，不过一般有限制，比如手机端限制在几百KB，以免被用户发现。

发起一次DDOS攻击服务需要多少钱？

卡巴斯基发布过一篇有关DDoS攻击成本的有趣分析。

专家估计，使用1000台基于云的僵尸网络进行DDoS攻击的成本约为每小时7美元。而DDoS攻击服务通常每小时25美元，这就意味着攻击者的预期利润大约在25美元减去7美元，每小时约18美元左右。

但企业针对DDoS攻击的防御费用其总体成本往往高达数万甚至数百万美元。所以不要想着通过发动ddos攻击来获得不正当收益，现在国家逐步出台各种政策和完善法律法规来保障网络安全，损害公民网络安全行为必然受到国家重拳打击。

如何用cmd进行ddos攻击？

一直PING某个IP即可

@echooff

set/pa=请输入IP

ping%a%-t保存为bat即可

DDOS在线攻击平台靠谱吗？

不靠谱。别相信那些DDOS网页端。他们都是圈钱的。我朋友买网站的卡被骗了几千。肯本就没有流量。好几个都是。国内的都是圈钱。

服务器被恶意ddos攻击要怎么办？

追踪和捉人这事交给警察校叔叔，很多东西只是他们信调查科有权限。