什么是单页面应用，如何解释会好些？

如果您想向您的朋友解释，什么是单页面应用。简单一句话，页面不刷新的web应用就是了。

万维网的资源千千万万，怎么标志和索引他们呢？我们使用的是统一资源标志符(URI)。只要这个东西不变，就是单页面。

当然既然是应用，就不能简简单单是一个普通的网页。总要动一动，实现一点功能，显得与普通的html不同。才能算得上应用，一个简单的示例是百度翻译。

它之所以会动是使用了所谓的ajax技术。

当然这个太简单了，随着ajax技术的发展，出现了许多中型甚至重型的js框架，比如SenchaTouch(以前叫extjs)里面有很多单页面应用的demo，最出名的一个是模仿了windows桌面。

现在随着html5技术的发展和成熟。使用websocket和服务器通讯，浏览器直接使用opengles在客户端绘制canvas的单页面应用甚至可以做成一个大型游戏。github上面有一个网易开源的项目(pomelo)。(不知道能不能贴网址/NetEase/pomelo/wiki/Home-in-Chinese)这是一个包含客户端，服务端，工具链的完整的mmorpg游戏框架，对用户来说也是一个单页面应用。

单页面应用（SPA）是旨在对Web应用发动革命的软件运动中可信度很高的一种。此类应用有望进行更加模块化的开发，令应用更加容易地适配与多个设备，并拥有更好的应用生命周期管理—这些几乎是软件架构师希望的全部。单页面应用诞生于拥有更多动态页面内容的Web20革命。旧的超链接页面浏览模型给用户带来了不和谐的体验，而Web20原则允许数据驱动时间在一个页面内创建，并让页面内容在需要的时候更新。

单页面应用诞生于拥有更多动态页面内容的Web20革命。旧的超链接页面浏览模型给用户带来了不和谐的体验，而原则允许数据驱动时间在一个页面内创建，并让页面内容在需要的时候更新。这意味着应用似乎可以运行得更加流畅，乃至于到达可仿真桌面与本地资源接口的地步。

先说结论，对于容量和性能：

服务器资源： 8核16G内存， 6个机械磁盘，每个磁盘100G， 用于mongo分片，10MB带宽。

容量：用户容量10万以上，消息条数10亿条。

性能评估：同时在线用户10万，每秒钟发送消息900条，消息延时1秒（从发送者发出消息到接收到消息）

启动sdk，模拟50个用户在线、离线情况，消息可靠性100%。

发送10万消息，有3条失败，其他消息都能被对方精确收到，并成功落地本地db。对于失败的3条消息，接收方确实没有收到，系统消息是一致的。

OpenIM是由前微信技术专家打造的开源的即时通讯组件。Open-IM包括IM服务端和客户端SDK，是一套整体的解决方案，代码开源，一切可控，

OpenIM可以实现全平台支持，目前支持Android，iOS，Flutter，Uni-app，react-native, JSSDK等。

OpenIM可以应用在企业内部办公，dating交友，在线客服等项目，也可以用于元宇宙。

github地址：https://githubcom/OpenIMSDK/Open-IM-Server

开发者中心: https://docrentsoftcn/#/

在单机的情况下，模拟线上用户发消息流程，在线用户量和消息量达到一定量级后，系统CPU、内存、磁盘占用、以及消息时延情况。以确定用户群体达到一定量级后，对服务器资源的预先评估。本次测试并不极限测试，一是因为生产环境本来都会有用户量和消息量的限制，二是因为OpenIM的消息模型，消息发送首先都会通过websocket入库kafka，理论上发送消息的写入性能是两者的组合，而消息发送的真正瓶颈实际在mongodb的随机读写。

服务器资源： 腾讯云主机（香港）1台：linux Ubuntu 18044系统，4核8G内存，单块机械硬盘。5Mb带宽。

测试条件：去掉消息入库mysql（因mysql仅用于管理后台，不影响线上用户服务）。日志级别调整为4或更低。kafka设置2个分区，msg_transfer 2个。

测试流程：1个客户端（成都，window pc，4核16G内存）启动1万个协程，模拟用户与服务器建立websocket长连接，间隔时间为随机50-100秒之间。两个客户端共模拟2万用户同时在线，发送消息，观察消息流转各个模块的处理能力，共计2500万条消息，观察系统内存、磁盘资源使用情况。

mongodb数据情况

redis数据情况

磁盘状态

资源占用分析

（1）redis内存消耗极小，一个用户一条数据（包括token和seq），和用户量成正比，3万用户占用几十M内存。

（2）mongodb如果去掉cache，内存消耗极小，每个document存放5000条消息，与用户量和消息量成正比，3万用户，2500万消息，索引才950K（更好的方式查看mongo消耗cache之外的内存）

（3）2500万消息，磁盘空间占用10G。

（4）每秒钟150条消息，cpu整体占用50%，即2核。

性能分析

（1）性能瓶颈在mongodb写入操作，1条消息，需要按照发送者和接收者拆分2次，mongodb写入2次，未来可以针对mongodb读写进一步优化。

（2）对于cpu消耗较大的模块，未来做一次整体优化。

（3）性能很平稳，不会随着数据量增加而降低。机械磁盘iops 达到200基本达到了设备的极限

服务器资源： 8核16G内存， 6个磁盘，每个磁盘100G， 用于mongo分片，10MB带宽。

性能评估：同时在线用户10万，每秒钟发送消息900条，消息延时1秒（从发送者发出消息到接收到消息）

（1）mongo集群部署，支持上亿用户同时在线，千亿级消息；

（2）简化集群部署；

（3）数据备份、恢复工具；

以上主要对服务端性能做了一个大致测试，但一套完整的IM解决方案，不仅仅是服务端的工作。实际上，客户端重要性毋庸置疑，具体包括如何利用seq和服务端同步消息，如果保证消息收发的时序，如何回调客户端（会话改变、新增，新消息），消息落地本地db，seq同步，消息推拉如何结合以确保消息收发可靠性。

相比于性能测试，实际上，消息的可达性（可靠性）更为重要。所以，我们在做性能测试的同时，也要对消息的可达性（可靠性）进行测试，如果不能保证消息收发的正确性，再高的性能也是徒劳。本文重点总结关于OpenIM对于消息可达性测试的方案、过程以及结果。先说结论，OpenIM消息可达率100%，大家可以放心使用在生产环境中。seq对齐和同步机制，保证了OpenIM的消息可达性是业界领先的。

IM消息系统的可靠性，通常就是指消息投递的可靠性，即我们经常听到的“消息必达”，通常用消息的不丢失和不重复两个技术指标来表示。确保消息被发送后，能被接收者收到。由于网络环境的复杂性，以及用户在线的不确定性，消息的可靠性（不丢失、不重复）无疑是IM系统的核心指标，也是IM系统实现中的难点之一。总体来说，IM系统的消息“可靠性”，通常就是指聊天消息投递的可靠性（准确的说，这个“消息”是广义的，因为还存用户看不见的各种指令和通知，包括但不限于进群退群通知、好友添加通知等，为了方便描述，统称“消息”）。

从消息发送者和接收者用户行为来讲，消息“可靠性”应该分为以下几种情况：

（1）发送失败，对于这种情况IM系统必须要感知到，明确反馈发送方。如果此消息没有发送成功，发送方可以选择重试或者稍后再试。

（2）发送成功，如果接收方处在“在线”状态，应该立即收到此消息。如果接收方处在“离线”状态不能收到消息，一旦上线则立刻收到消息。

（3）消息不能重复，用数学术语表示：“有且仅有这条消息”，如果重复了，可能表达的意思就变了。 总之，一个商用 IM系统，必须包含消息“可靠性”逻辑，才能谈基本可用，这是IM系统最基本也是最核心的逻辑。

互联网真实场景复杂，但客户端大体可以分为两种情况：（1）发送消息时，接收方在线，能收到消息；（2）发送消息时接收方不在线，登录后能收到离线消息。我们用测试程序模拟互联网客户端各种场景，按照登录、发送消息、接收消息的情况，把测试客户端分为以下2种类型：

（1）启动测试时离线，随机sleep 0-60 秒后登录，发送消息，且接收消息

（2）启动测试时离线，随机sleep 0-60 秒后登录，不发送消息，只接收消息

在实际测试中共计50个客户端，约25个（50%概率）客户端不发送只接收消息，约25个（50%概率）客户端发送且接收消息 。

发送模式：每个客户端随机选择其他客户端作为消息接收者；

测试预期： 每一条发送成功的MsgID，都能在接收的消息列表中找到，同样，每一条接收到的MsgID，都能在发送成功的消息列表中找到。

具体做法：（1）消息发送成功后，通过OnSuccess回调，记录MsgID； 收到新消息后回调OnRecvNewMessage，记录MsgID；（2）周期性对比两个消息列表，确认是否完全一致；

发送数据100000条，其中失败3条，9999997条成功，接收方成功接收9999997条消息（接收方成功接收到消息，写入本地db，并能触发消息回调）

每一条发送成功的消息，对方都能准确接收到，无论接收方在消息发送时的登录状态是在线还是离线。

每一条发送失败的消息，对方都不会收到。

注意事项：

（1）控制压力，因为sdk需要写本地db，客户端会成为压力瓶颈。

（2）压测客户端日志会影响测试性能。

此表格是某IM云平台的价格，如果按照10万月活，存储三年消息来算，大概每年需要支付15万。而采用OpenIM只需要采购云主机，每年成本约08万。

Workerman是一款纯PHP开发的开源高性能的PHP socket 服务器框架。被广泛的用于手机app、移动通讯，微信小程序，手游服务端、网络游戏、PHP聊天室、硬件通讯、智能家居、车联网、物联网等领域的开发。 支持TCP长连接，支持Websocket、HTTP等协议，支持自定义协议。拥有异步Mysql、异步Redis、异步Http、异步消息队列等众多高性能组件

搭建聊天室的难度取决于你的技术水平和经验。如果你是有经验的Java开发人员，并且熟悉网络编程和Socket通信，那么搭建一个简单的聊天室应该不难。

但是如果你是初学者，可能会遇到一些困难，如网络通信、并发编程等方面的问题。此时，你可以参考一些开源的聊天室项目，如JBoss Netty、Apache MINA、Java-WebSocket等，以及相关的教程和文档进行学习和实践。

至于是否有接口可以直接接入，这取决于你要接入的聊天室的实现方式和开放的接口。一些现成的聊天室平台会提供API或SDK供开发者使用，但需要具体情况具体分析。

这次给大家带来Web应用开发为什么选择Nodejs，Web应用开发选择Nodejs的注意事项有哪些，下面就是实战案例，一起来看一下。

一项颠覆性的技术进入技术市场总会带来一阵震惊，但随之而来往往是被放弃。然而，Nodejs 当然不是这样的情况，它是一个开源的、跨平台的基于 Chrome 的 JavaScript 运行时。Nodejs 由 Ryan Dahl 于 2009 年开发，该平台现在已成为实时 Web 应用开发的独特选择，通过提供高度交互的用户体验来提高 ROI。

使用 Nodejs 的最大优点是开发人员可以在客户端和服务器端编写 JavaScript。值得一提的是，像 PayPal, Yahoo, eBay, Netflix, The Mail Online, 和 Walmart 这样的企业已经通过使用 Nodejs 实现了各自的业务。继续阅读下面的内容，了解大多数企业选择 Nodejs 开发 Web App 的十大主要原因。

使用 Nodejs 进行 Web App 开发人气暴涨背后的十大原因：

Image Source: CronJ

1 加快开发进度Nodejs 使用由 Google 开发的 V8 引擎，它可以将 JavaScript 编译成原生机器码并快速执行。由于 Nodejs 使用事件驱动的非阻塞 I/O 模型，因此对于内存使用和数据密集的实时 Web 应用十分高效和轻便，可在多个设备上工作。

使用 Nodejs，可以非常快速地执行常见的 Web 应用任务，例如读取或写入数据库，读取或写入网络连接，以及读取或写入文件系统。Nodejs 对于希望构建快速、强大的 Web 应用的开发人员来说是一个福音，它可以有效地处理并行连接并增加吞吐量。

在 LinkedIn 选择了 Nodejs 之后，它的移动流量大幅上升，而且服务器的数量从 30 个减少到 3 个。PayPal 是另一个受益于 Nodejs 的案例。在使用 Nodejs 之后，PayPal 的响应时间缩短了 35%，与之前相比，每秒处理双倍的请求。可在包括 Microsoft Windows, Mac OS X, 和 Unix 在内的多个服务器上运行 Nodejs 应用。

2 非常适合实时应用程序开发

Image Source: agriyaservicesblogspotcom

当前几乎每个公司都会实时查找用户信息。一个简单的原因是，在生成客户信息时，可靠地访问客户信息为业务销售提供了重要的推动途径，通过为用户提供实际寻找的内容，而不是对其感兴趣的随机性。而且在过去的几年里，使用 Nodejs 构建实时 Web APP 已经成为最佳方法。

使用 Nodejs，所有与底层套接字和协议有关的担心都会烟消云散。使用 Nodejs，可以像在 PHP 中创建一个简单的博客一样快速构建一个实时的 Web 应用。Nodejs 非常适合多用户实时 Web 应用的场景，如游戏和聊天应用。多用户功能由事件循环通过 WebSocket 协议解决，该协议在 TCP 上工作。它还可以为 Web 开发防止 HTTP 的过度开销。

3 数据流

mage Source: Quora

虽然 HTTP 请求和响应被认为是两个孤立的事件，但实际上它们是数据流。Nodejs 的好处在于它可以在上传时进行文件处理。因此，在数据以流的形式出现的情况下，可以节省在整体流程中所浪费的大量时间。实时视频或音频也是这样的情况。

4 Nodejs 是无处不在的在浏览器和服务器都可以使用 JavaScript。如果一家公司需要为浏览器端更改构建逻辑以转移到服务器端，开发人员可通过使用 Nodejs 代码迁移来轻松实现。尽管如此，编写运行在浏览器或服务器端的代码并没有太大的差异。

5 允许让 Web 应用使用单个代码库使用 Nodejs，开发人员可以自动发送和同步服务器端和客户端之间的数据，因为它允许开发人员为服务器和客户端编写 JavaScript 代码。Meteor 是在 Nodejs 之上创建的 Web 应用框架，为客户端和服务器端提供了相同代码库的支持。服务器上任何的数据更改都会在客户端立即显示。

“Nodejs 不是一个支配 Web 开发世界的新平台。相反，它是一个满足特定需求的平台”，根据 Web 工程公司 Toptal 的说法，Nodejs 真正的亮点在于构建快速的、可扩展的网络应用。

6 为代理服务器提供服务使用 Nodejs 最大的优点之一是它作为一个代理服务器时，为不同响应时间的服务提供服务，或为从多个源点收集数据提供服务。

为了更好地理解请看下面这个例子：一个企业有一个服务器端应用，用于与第三方资源进行通信，从不同来源收集数据，或将图像和视频存储到第三方云服务中。现在，尽管企业可以使用专用服务器，但在不存在基础架构或当需要解决方案进行本地开发时，Nodejs 是更好的选择。

7 强大的 Nodejs 包管理器(NPM)Nodejs 具有动态工具和模块的动态存储库，程序员可以使用它们共享应用开发。Nodejs 可以通过框架，模板系统以及与访问者的实时通信管理等使用成千上万个模块用于各种任务，如文件上传管理，连接到 MySQL 数据库或 Redis。

Image Source: HostOnNetcom

对于需要重新使用外部 JavaScript 开发者创建的代码来解决某个特定的问题的程序员来说，Nodejs 的包管理器或 NPM 是他们的救星。NPM 还允许 JavaScript 开发者下载针对以前在其应用中使用的特定代码所做的更新。即使不想重用组织外的 JavaScript 开发者创建的代码，也可以采用基于模块的方式来改进团队成员之间的协同效应。

使用 NPM 后，PayPal 显著提高了开发者的生产力。此外，互联网支付巨头不需要太多的开发者来构建一个应用，就像使用 Nodejs 之前一样。

8 Nodejs 非常适合数据库查询对于数据库查询，Nodejs 有一个优势，因为 JavaScript 可用于为 MongoDB，CouchDB 等新的 NoSQL 数据库编写数据库查询。对于开发者来说，这是一个很大的缓解，因为他们在执行组合 Nodejs 和 NoSQL 数据库的任务时不需要记住语法差异。由于 JSON 存储的数据格式允许平滑运行，在数据转换或不匹配中没有任何障碍。因此 Nodejs 对于实时 Web 应用来说确实是一个福音。

9 Nodejs 托管已经达到一个新的台阶由于 Nodejs 在开发人员中十分受欢迎，因此它的托管已经取得了很大的成功。 PaaS（平台即服务）服务提供商（如 Heroku 和 Modulus）为单个命令的节点部署提供了支持。通过 Nodejs 托管，可将页面加载时间减少高达 50%，并降低托管应用程序所需的服务器数量。

10 蓬勃发展的开源社区

Nodejs 还有着非常有好的社区。因为拥有开源社区，Nodejs 提供了许多出色的模块，可为 Web 应用增加更多优秀的功能。例如，Socketio 可用于处理客户端和服务器之间的恒定通信，从而使服务器可向客户端发送实时更新。Expressjs, Koajs, Hapijs, Sailsjs, Meteor 和 Derby 是由 Nodejs 社区开发的一些其他顶级框架，用于加速应用开发过程。

IoT 社区也欢迎将 Nodejs 用于嵌入式设备和机器人，如 Cylon 和 Nodebots。此外，它已经成为实时 Web APP 开发世界的巨人。上面提到有关 Nodejs 的所有优点是许多公司认为 Nodejs 是运行重负载 Web 应用的很好的技术，并允许团队将其用于生产环境的原因。

相信看了本文案例你已经掌握了方法，更多精彩请关注Gxl网其它相关文章！

推荐阅读：

datepicker怎么使用

mixin的高阶组件使用详解

ejsExcel模板在Vuejs中的使用

在为后端开发选择编程语言时，您的选择决定了产品将如何操作、扩展和满足用户需求。

最常见的问题之一是 Nodejs 与 Python 的两难选择 。 这两个选项非常受欢迎，并且各有利弊。我们与两者合作，并在这里比较它们的优缺点，并帮助您确定哪个更适合您的项目。

定义产品种类。 它是数据量大的应用程序还是以界面为中心的程序？它的功能主要是静态的还是交互式的？在这个阶段，分析你的竞争对手、市场和最终用户的需求。

定义区域。 了解你的产品将在哪里使用非常重要：在特定地区、全国或国际上。面积越大，你就越需要仔细考虑建筑和技术解决方案。

进行市场调研。 独特且不断被要求是至关重要的。这意味着彻底的营销研究，了解你的主要竞争对手，并拥有清晰的买家角色。

分析你的资源。 了解你拥有多少具有相关经验的可用专家以及是否需要雇用外包开发人员的时刻。

明确主要绩效标准。 没有完美的后端开发工具。分析速度、安全性、交互性、响应性，并选择其中哪些具有最高优先级。

Python 是一种面向对象的动态语言，因其简单的语法和通用性而备受推崇。Python 仍然是市场上最受欢迎的语言之一。

它的主要优点之一是支持多种编程风格，使其非常适合复杂的计算项目和简单的网站。

Statista将 Python 定义为 2020 年最流行的编程语言。它被全球 29% 的开发人员使用。根据JetBrains 的研究，87% 了解 Python 的开发人员使用 Python 作为他们的主要编程语言，其中 27% 的人将 Python 用于 Web 开发，28% 用于机器学习，18% 用于数据分析。

Python 提供对 Berkeley 套接字 API 的访问权限。这是处理客户端-服务器网络的模块。Python 提供了一个简单而一致的 API，对应于这些系统调用的 C 等价物。Python 有一些类，可以更轻松地在其代码中使用这些低级套接字方法。

动态和面向对象的语法允许 Python 开发人员花更少的时间处理复杂的代码。许多软件包、附加组件和库提供了从最简单的 Web 后端到复杂的科学计算的现成选项。

这些东西使 Python 成为开发 MVP和原型的完美决策。结果： 快速进入市场，同时支持各种迭代，以及高比例的重用代码。

与其他语言和开发框架相比，Python 使用的代码行更少。这不仅与数量有关，而且还使团队工作时更容易理解代码。 Python 允许程序员用几行代码表达复杂的想法。

Python 有一个特殊的好处，那就是经常使用英语术语而不是数学表达式。该代码易于阅读和理解。

Python 应对多种开发挑战。尽管生态系统并不新鲜，但不断添加新软件包和附加组件使其保持相关性。目前，它是最适合人工智能、计算机视觉、机器学习、数据科学、统计学和其他领域的语言之一。

Python 已经存在了一段时间，所以它围绕自己建立了一个大社区。开发人员使用开源资源和教程，这使得专业成长和经验交流更容易。

社区起初可能看起来并不重要，但它让开发人员参与并更新。

如果你优先考虑高速，Python 将不是最佳选择。Python 可以轻松处理密集型操作，但与其他语言相比，它需要更多时间。如果你需要运行多个请求，Nodejs 的异步输入和输出会更适合你。

移动应用程序的低性能是一个主要问题。如果后端在设计上很慢，那么用户体验就会受到影响。

使 Python 代码适应移动设备的另一个问题是它不能很好地与原生组件一起使用。如果你将不太兼容的代码库与低性能结合起来，你将遇到性能问题。

Nodejs 是一个基于 JavaScript 编程语言的后端开发运行时环境。

Nodejs 使用异步的、事件驱动的输入输出。它表明运行时环境可以同时处理多个请求，而不必等待前一个请求完成。

根据Statista的说法，Nodejs 是最常用的编程框架。大约 53% 的开发人员在他们的项目中使用 Nodejs。Twitter、Aliexpress、Coursera 和许多其他使用 Nodejs 创建的巨头。Netflix 和 Paypal 选择 Nodejs 来支持他们的微服务。它使他们能够将启动时间从 40 分钟缩短到 1 分钟。

Nodejs 是一种允许您创建 WebSocket （一种允许实时双向客户端-服务器网络的协议）的编程语言。在在线应用程序中，WebSockets 是 HTTP 通信的替代方案。一旦连接形成，通道就会保持打开状态，从而实现高速连接，而客户端-服务器网络的延迟和开销很小。聊天、在线多人 游戏 、Google 文档和其他常见用例只是其中的几个例子。

Nodejs 的主要优势是处理复杂的并发进程。大型公司之所以选择它来为其基础架构提供动力，是因为它具有快速处理大型工作负载的成熟能力。

选择 Nodejs 的主要原因是它的快速性能。它在单个 Nodejs 服务器上并行处理大量请求。

Nodejs 使用 Google Chrome V8 引擎作为运行时环境来执行 JavaScript。该引擎使用即时编译来处理 JavaScript 代码并快速提供即时输出。它使 Nodejs 成为交互式开发的首选。

多亏了这一点，您可以获得出色的用户体验，使 Nodejs 成为实时应用程序、信使、 游戏 应用程序等的首选。

全栈 Web 开发是一种趋势——Medium、Airbnb、Paypal、Netflix 等企业转而使用 Nodejs，在前端和后端开发中都使用 JavaScript。它保证：

在 Nodejs 服务器上的整个开发过程中重用 JavaScript 可以加快交付速度并简化通信。当所有团队成员都能理解代码时，这是一个巨大的优势。

Nodejs 服务器有很多 NPM 包。Netflix 和 Paypal 同时迁移到 Nodejs 和微服务，取得了惊人的效果。他们摆脱了代码重复，组织了架构，引入了额外的功能，并改善了用户体验。

Nodejs 不能很好地处理复杂的操作。它的优点是可以快速处理多个简单的请求，但是任何复杂的请求都会导致延迟。

假设您的应用程序必须运行复杂的操作。Nodejs 不是一个好的选择。有一些方法可以让 Nodejs 更好地处理复杂的任务，但默认功能并不完善。

该编程语言基于 NPM 模块构建，它允许您扩展内置功能并创建几乎任何东西。然而，一个特定的模块可以独立运行，但与系统的其余部分不兼容。

一些 NPM 模块可能不兼容，需要重新设置。如果你运行大型基础架构，错误可能会导致崩溃。

Nodejs 和 Python 堆栈是出色的后端，为开发人员提供了令人印象深刻的可能性。Python 擅长执行复杂的操作和支持创新，但它在速度上有所损失。Nodejs 性能出众，但不擅长处理复杂的操作。但决定取决于项目类型。

最全Python爬虫库

Python爬虫库推荐

通用：

1urllib-网络库(stdlib) 。

2requests-网络库。

3grab-网络库(基于py curl) 。

4py curl-网络库(绑定libcurl) 。

5urllib 3-Python HTTP库， 安全连接池、支持文件post

、可用性高。

6httplib 2-网络库。

7Robo Browser-一个简单的、极具Python风格的

Python库， 无需独立的浏览器即可浏览网页。

8Mechanical Soup一一个与网站自动交互Python库。

9mechanize-有状态、可编程的Web浏览库。

10socket-底层网络接口(stdlib) 。

11Uni rest for Python-Uni rest是一套可用于多种语言的

轻量级的HTTP库。

12hyper-Python的HTTP/2客户端。

13Py Socks-Socks iPy更新并积极维护的版本， 包括错误

修复和一些其他的特征。作为socket模块的直接替换。

网络爬虫框架

1功能齐全的爬虫

·grab-网络爬虫框架(基于py curl/multi cur) 。

·scrap y-网络爬虫框架(基于twisted) ， 不支持

Python 3。

mpy spider-一个强大的爬虫系统。

·cola-一个分布式爬虫框架。

2其他

·portia-基于Scrap y的可视化爬虫。

rest kit-Python的HTTP资源工具包。它可以让你轻松地

访问HTTP资源， 并围绕它建立的对象。

·demiurge-基于Py Query的爬虫微框架。

HTML/XML解析器

1通用

·lxml-C语言编写高效HTML/XML处理库。支持XPath。

·css select-解析DOM树和CSS选择器。

py query-解析DOM树和j Query选择器。

Beautiful Soup-低效HTML/XML处理库， 纯Python实

现。

·html5lib-根据WHATWG规范生成HTML/XML文档的

DOM。该规范被用在现在所有的浏览器上。

·feedparser-解析RSS/ATOM feeds。

·Markup Safe-为XML/HTML/XHTML提供了安全转义的

字符串。

·xml to dict-一个可以让你在处理XML时感觉像在处理

JSON一样的Python模块。

·xhtml 2pdf-将HTML/CSS转换为PDF。

·untangle-轻松实现将XML文件转换为Python对象。

HTML/XML解析器

1通用

·lxml-C语言编写高效HTML/XML处理库。支持XPath。

·css select-解析DOM树和CSS选择器。

·py query-解析DOM树和j Query选择器。

·Beautiful Soup-低效HTML/XML处理库， 纯Python实

现。

·html5lib-根据WHATWG规范生成HTML/XML文档的

DOM。该规范被用在现在所有的浏览器上。

·feedparser-解析RSS/ATOM feeds。

·Markup Safe-为XML/HTML/XHTML提供了安全转义的

字符串。

·xml to dict-一个可以让你在处理XML时感觉像在处理

JSON一样的Python模块。

·xhtml 2pdf-将HTML/CSS转换为PDF。

·untangle-轻松实现将XML文件转换为Python对象。

文本处理

用于解析和操作简单文本的库。

1通用

2diff lib-(Python标准库) 帮助进行差异化比较。

3Levenshtein-快速计算Levenshtein距离和字符串相似度。

4fuzzy wuzzy-模糊字符串匹配。

5esm re-正则表达式加速器。

6ft fy-自动整理Unicode文本， 减少碎片化。

自然语言处理

处理人类语言问题的库。

·NL TK-编写Python程序来处理人类语言数据的最好平台。

·Pattern-Python的网络挖掘模块。他有自然语言处理工具

，机器学习以及其它。

·Text Blob-为深入自然语言处理任务提供了一致的API。是

基于NL TK以及Pattern的巨人之肩上发展的。

·jie ba-中文分词工具。

·Snow NLP-中文文本处理库。

·los o-另一个中文分词库。

浏览器自动化与仿真

·selenium-自动化真正的浏览器(Chrome浏览器， 火狐浏

览器， Opera浏览器， IE浏览器) 。

·Ghostpy-对PyQt的webkit的封装(需要PyQT) 。

·Spy nner-对PyQt的webkit的封装(需要PyQT) 。

·Splinter-通用API浏览器模拟器(selenium web驱动，

Django客户端， Zope) 。

多重处理

·threading-Python标准库的线程运行。对于I/O密集型任

务很有效。对于CPU绑定的任务没用， 因为python GIL。

multiprocessing-标准的Python库运行多进程。

·celery-基于分布式消息传递的异步任务队列/作业队列。

·concurrent-futures-concurrent-futures模块为调

用异步执行提供了一个高层次的接口。

异步

异步网络编程库

·async io-(在Python 34+版本以上的Python标准库

)异步/O，时间循环，协同程序和任务。

·Twisted-基于事件驱动的网络引擎框架。

·Tornado-一个网络框架和异步网络库。

·pulsar-Python事件驱动的并发框架。

·diesel-Python的基于绿色事件的I/O框架。

g event-一个使用green let的基于协程的Python网络库

·event let-有WSGI支持的异步框架。

·Tomorrow-异步代码的奇妙的修饰语法。

队列

·celery-基于分布式消息传递的异步任务队列/作业队列。

·huey-小型多线程任务队列。

·mrq-MrQueue-使用red is&G event的Python分

布式工作任务队列。

·RQ-基于Red is的轻量级任务队列管理器。

·simple q-一个简单的， 可无限扩展， 基于Amazon SQS

的队列。

·python-gear man-Gear man的Python API。

云计算

·pic loud-云端执行Python代码。

·dominoupcom-云端执行R， Python和matlab代码

网页内容提取

提取网页内容的库。

·HTML页面的文本和元数据

·newspaper-用Python进行新闻提取、文章提取和内容策

展。

·html2 text-将HTML转为Markdown格式文本。

·python-goose-HTML内容/文章提取器。

·lassie-人性化的网页内容检索工具

Web Socket

用于Web Socket的库。

·Crossbar-开源的应用消息传递路由器(Python实现的用

于Autobahn的Web Socket和WAMP) 。

·Autobahn Python-提供了Web Socket协议和WAMP

协议的Python实现并且开源。

·Web Socket-for-Python-Python 2和3以及PyPy的

Web Socket客户端和服务器库。