python实现的epoll异步服务器接收数据不全怎么解决

本文实例讲述了python使用multiprocessing模块实现带回调函数的异步调用方法。分享给大家供大家参考。具体分析如下：

multipressing模块是python 26版本加入的，通过这个模块可以轻松实现异步调用

from multiprocessing import Pool

def f(x):

return xx

if __name__ == '__main__':

pool = Pool(processes=1)

# Start a worker processes

result = poolapply_async(f, [10], callback)

# Evaluate "f(10)" asynchronously calling callback when finished

希望本文所述对大家的Python程序设计有所帮助。

　　很早之前，学习Python web编程的时候，就涉及一个Python的urllib。可以用urlliburlopen("url")read()可以轻松读取页面上面的静态信息。但是，随着时代的发展，也来越多的网页中更多的使用javascript、jQuery、PHP等语言动态生成页面信息。因此，用urllib再去抓取页面HTML就不足以达到我们想要的效果。

　　解决思路：

　　有一个思路最为简单的思路可以动态解析页面信息。urllib不可以解析动态信息，但是浏览器可以。在浏览器上展现处理的信息其实是处理好的HTML文档。这为我们抓取动态页面信息提供了很好的思路。在Python中有一个很有名的图形库——PyQt。PyQt虽然是图形库，但是他里面 QtWebkit。这个很实用。谷歌的Chrome和苹果的Safari都是基于WebKit内核开发的，所以我们可以通过PyQt中得QtWebKit 把页面中的信息读取加载到HTML文档中，再解析HTML文档，从HTML文档中提取我们想用得信息。

　　作者本人实用Mac OS X。应该在Windows和Linux平台也可以采用相同的办法。

　　1、Qt4 library

　　Library，而不是Creator。Library在Mac的默认安装路径下，应该是/home/username/Developor/，不要改变Qt4的默认安装路径。否则可能安装失败。

　　官方网址：http://qt-projectorg/downloads

　　2、SIP、PyQt4

　　这两个软件可以在在PyQt的官网找到。下载的是它的源码。Mac和Linux需要自己编译。

　　下载地址是：http://wwwriverbankcomputingcouk/software/pyqt/download

　　在终端切换到文件解压后的目录中。

　　在终端中输入

　　python configurepy

　　make

　　sudo make install

　　进行安装编译。

　　SIP和PyQt4两个安装方法相同。但是PyQt4依赖SIP。所以先安装SIP再安装PyQt4

　　1、2两步完成之后，Python的PyQt4的模块就安装好了。在Python shell中输入import PyQt4看看能不能找到PyQt4的模块。

　　3、Spynner

　　spynner是一个QtWebKit的客户端，它可以模拟浏览器，完成加载页面、引发事件、填写表单等操作。

　　这个模块可以在Python的官网找到。

　　下载地址: https://pypipythonorg/pypi/spynner/25

　　解压后，cd到安装目录，然后输入sudo python configurepy install安装该模块。

　　这样Spynner模块就安装完成了，在python shell中试试import spynner看看该模块有没有安装完成。

　　回到顶部

　　Spynner的简单使用

　　Spynner的功能十分强大，但是由于本人能力有限，就介绍一下如何显示网页的源码吧。

　　#! /usr/bin/python

　　#--coding: utf-8 --

　　import spynner

　　browser = spynnerBrowser()

　　#创建一个浏览器对象

　　browserhide()

　　#打开浏览器，并隐藏。

　　browserload("http://wwwbaiducom")

　　#browser 类中有一个类方法load，可以用webkit加载你想加载的页面信息。

　　#load(是你想要加载的网址的字符串形式)

　　print browserhtmlencode("utf-8")

　　#browser 类中有一个成员是html，是页面进过处理后的源码的字符串

　　#将其转码为UTF-8编码

　　open("Testhtml", 'w+')write(browserhtmlencode("utf-8"))

　　#你也可以将它写到文件中，用浏览器打开。

　　browserclose()

　　#关闭该浏览器

　　通过这个程序，就可以比较容易的显示webkit处理的页面HTML源码了。

　　回到顶部

　　spynner应用

　　下面介绍一下spynner的简单应用，通过简单的程序，可以获取你在浏览器中看到的页面的全部。用HTMLParser、BeautifulSoup等都可以完成HTMLParser文档的解析。而我选择HTMParser。

　　#!/usr/bin/python

　　import spynner

　　import HTMLParser

　　import os

　　import urllib

　　class MyParser(HTMLParserHTMLParser):

　　def handle_starttag(self, tag, attrs):

　　if tag == 'img':

　　url = dict(attrs)['src']

　　name = ospathbasename(dict(attrs)['src'])

　　if nameendswith('jpg') or nameendswith('png') or nameendswith('gif'):

　　print "Download", name

　　urlliburlretrieve(url, name)

　　if __name__ == "__main__":

　　browser = spynnerBrowser()

　　browsershow()

　　browserload("http://wwwartistcn/snakewu1994/StyleBasis_Four/en_album_607236shtml")

　　Parser = MyParser()

　　Parserfeed(browserhtml)

　　print "Done"

　　browserclose()

　　通过这个程序，可以下载你在页面上看到的全部。简单的几行程序就完成了这个艰巨的任务。实现了的批量处理。这真是Python语言的优势，再艰巨的任务交给第三方吧。

了解了HTTP协议和HTML文档，我们其实就明白了一个Web应用的本质就是：

浏览器发送一个HTTP请求;

服务器收到请求，生成一个HTML文档;

服务器把HTML文档作为HTTP响应的Body发送给浏览器;

浏览器收到HTTP响应，从HTTP Body取出HTML文档并显示。

所以，最简单的Web应用就是先把HTML用文件保存好，用一个现成的HTTP服务器软件，接收用户请求，从文件中读取HTML，返回。Apache、Nginx、Lighttpd等这些常见的静态服务器就是干这件事情的。

如果要动态生成HTML，就需要把上述步骤自己来实现。不过，接受HTTP请求、解析HTTP请求、发送HTTP响应都是苦力活，如果我们自己来写这些底层代码，还没开始写动态HTML呢，就得花个把月去读HTTP规范。

正确的做法是底层代码由专门的服务器软件实现，我们用Python专注于生成HTML文档。因为我们不希望接触到TCP连接、HTTP原始请求和响应格式，所以，需要一个统一的接口，让我们专心用Python编写Web业务。

这个接口就是WSGI：Web Server Gateway Interface。

WSGI接口定义非常简单，它只要求Web开发者实现一个函数，就可以响应HTTP请求。我们来看一个最简单的Web版本的“Hello, web!”：

1

2

3

def application(environ, start_response):

start_response(200 OK, [(Content-Type, text/html)])

return h1Hello, web!/h1

上面的application()函数就是符合WSGI标准的一个HTTP处理函数，它接收两个参数：

environ：一个包含所有HTTP请求信息的dict对象;

start_response：一个发送HTTP响应的函数。

在application()函数中，调用：

start_response(200 OK, [(Content-Type, text/html)])

就发送了HTTP响应的Header，注意Header只能发送一次，也就是只能调用一次start_response()函数。start_response()函数接收两个参数，一个是HTTP响应码，一个是一组list表示的HTTP Header，每个Header用一个包含两个str的tuple表示。

通常情况下，都应该把Content-Type头发送给浏览器。其他很多常用的HTTP Header也应该发送。

然后，函数的返回值Hello, web! 将作为HTTP响应的Body发送给浏览器。

有了WSGI，我们关心的就是如何从environ这个dict对象拿到HTTP请求信息，然后构造HTML，通过start_response()发送Header，最后返回Body。

整个application()函数本身没有涉及到任何解析HTTP的部分，也就是说，底层代码不需要我们自己编写，我们只负责在更高层次上考虑如何响应请求就可以了。

不过，等等，这个application()函数怎么调用如果我们自己调用，两个参数environ和start_response我们没法提供，返回的str也没法发给浏览器。

所以application()函数必须由WSGI服务器来调用。有很多符合WSGI规范的服务器，我们可以挑选一个来用。但是现在，我们只想尽快测试一下我们编写的application()函数真的可以把HTML输出到浏览器，所以，要赶紧找一个最简单的WSGI服务器，把我们的Web应用程序跑起来。

好消息是Python内置了一个WSGI服务器，这个模块叫wsgiref，它是用纯Python编写的WSGI服务器的参考实现。所谓“参考实现”是指该实现完全符合WSGI标准，但是不考虑任何运行效率，仅供开发和测试使用。

运行WSGI服务

我们先编写hellopy，实现Web应用程序的WSGI处理函数：

1

2

3

4

5

# hellopy

def application(environ, start_response):

start_response(200 OK, [(Content-Type, text/html)])

return h1Hello, web!/h1

然后，再编写一个serverpy，负责启动WSGI服务器，加载application()函数：

11

12

# serverpy

# 从wsgiref模块导入:

from wsgirefsimple_server import make_server

# 导入我们自己编写的application函数:

from hello import application

# 创建一个服务器，IP地址为空，端口是8000，处理函数是application:

httpd = make_server(, 8000, application)

print Serving HTTP on port 8000

# 开始监听HTTP请求:

httpdserve_forever()

Try

确保以上两个文件在同一个目录下，然后在命令行输入python serverpy来启动WSGI服务器：

注意：如果8000端口已被其他程序占用，启动将失败，请修改成其他端口。

启动成功后，打开浏览器，输入

在命令行可以看到wsgiref打印的log信息：

按Ctrl+C终止服务器。

如果你觉得这个Web应用太简单了，可以稍微改造一下，从environ里读取PATH_INFO，这样可以显示更加动态的内容：

1

2

3

4

5

# hellopy

def application(environ, start_response):

start_response(200 OK, [(Content-Type, text/html)])

return h1Hello, %s!/h1 % (environ[PATH_INFO][1:] or web)

你可以在地址栏输入用户名作为URL的一部分，将返回Hello, xxx!：

是不是有点Web App的感觉了

小结

无论多么复杂的Web应用程序，入口都是一个WSGI处理函数。HTTP请求的所有输入信息都可以通过environ获得，HTTP响应的输出都可以通过start_response()加上函数返回值作为Body。

复杂的Web应用程序，光靠一个WSGI函数来处理还是太底层了，我们需要在WSGI之上再抽象出Web框架，进一步简化Web开发。

具体原因如下：

消息发送端发送消息出去后没有结果返回，如果只是单纯发送消息，当然没有问题了，但是在实际中，常常会需要接收端将收到的消息进行处理之后，返回给发送端。