如何部署python web程序

Python Web 程序的部署方案

综合而言, 高性能的Python web站点部署方式首推 nginx + uwsgi

apache + mod_wsgi 是简单稳定但性能一般的方式

API服务器 可以直接使用tornado或者gevent

mod_python

非常原始的cgi模式部署python已经没有什么好介绍了。对于不太追求性能的管理系统和网站来说，使用 Apache 部署是一个不错的选择。较早的时候，使用 mode_python 部署python的web应用十分流行,在Django 096 的时候官方文档甚至推荐这种方式。

它将Python解释器嵌入到Apache server,以提供一个访问Apache server内部的接口。mod_python 在现在看来性能是不佳的，每一个http请求 mod_python 都会由一个进程初始化python解释器、载入代码、执行、然后销毁进程。

mod_wsgi

如果非要用Apache来部署python应用，mod_wsgi是一个更好的选择。WSGI 全称是 Web Server Gateway Interface ,由 PEP-333 定义。 基本上所有的python web框架都实现了wsgi接口，用mod_wsgi 能部署任何实现了wsgi的框架。实际上，不需要任何框架也可以用mod_wsgi 部署python程序。使用mod_wsgi的daemon模式，python程序会常驻内存，不会有很大的初始化和销毁进程方面的开销，所以性能是好于mod_python的。综合来说，使用Apache部署python web程序，推荐使用mod_wsgi的daemon模式。

Fastcgi

先说观点：不建议用fastcgi的方式部署Python web。

前几年由于lighttpd风头正劲和豆瓣的成功案例，fastcgi是一种很流行的部署方式。fastcgi与具体语言无关，也与web服务器无关。是一种通用的部署方式。fastcgi是对于cgi的增强，CGI程序运行在独立的进程中，并对每个Web请求建立一个进程。面对大量请求，进程的大量建立和消亡使操作系统性能大大下降。

与为每个请求创建一个新的进程不同，FastCGI使用持续的进程来处理一连串的请求。这些进程由FastCGI服务器管理，而不是web服务器。 当进来一个请求时，web服务器把环境变量和这个页面请求通过一个socket比如FastCGI进程与web服务器都位于本地）或者一个TCP connection（FastCGI进程在远端的server farm）传递给FastCGI进程。

主流的web服务器，Apache,lighttpd,nginx 都支持fastcgi，在几年前，lighttpd的mod_fcgi模块性能强劲，lighttpd+fastcgi十分流行。无论是python,ruby还是php，都有大量的站点使用这种方式部署。由于nginx的崛起，现在很少有人使用lighttpd了。

fastcgi 并不是专门为python设计，并不是所有的python框架天然的支持fastcgi，通常需要flup这样的容器来配适。flup由python编写，和专门的c实现的wsgi容器比起来性能显得相当不堪。fastcgi的稳定性对于新兴的wsgi容器来说也有差距。无论从哪个方面来看，部署python web程序，fastcgi 都已经是过去式。

uwsgi

前几年nginx还未内置uwsgi模块的时候，部署uwsgi还是一件挺麻烦的事情。随着能够在nginx中直接使用uwsgi模块，uwsgi已经是最可靠，最方便的高性能python web程序的部署方式了。

在1U的四核XEON服务器上，一个简单的wsgi handler甚至能用AB压到8000以上的qps,这已经是完爆tornado,接近gevent的性能了。 同时，uwsgi的稳定性极好。之前我们有个每天500w-1000w动态请求的站点使用uwsgi部署非常稳定，在一个渣HP 1U 服务器上，基本不用管它。

上面提到的部署方式都是相对于web网站的方式，在移动互联网的时代，我们需要的是高性能的API服务，上面这些都是过时的东西。

tornado

tornado 号称高性能，如果拿他写网站，其实一般般，只不过跟uwsgi加一些简单框架差不多而已。它真正的作用，是用来写API服务器和长连接的服务器。

由于tornado能够直接处理http请求，很多人直接拿他来裸奔直接提供服务。这种方式是不可取的，单线程的tornado只能利用cpu的一个核心，并且一旦阻塞直接就废了。通常情况下，由supervisor启动多个tornado进程，通过nginx进行反向代理负载均衡。nginx 114 以后的版本反向代理支持长连接，配合tornado的comet效果很好。

tornado还有一些比较奇葩的用法，比如用来做wsgi容器之类的。

gevent

gevent是一个神器，能做的事情很多。在web方面，处理http请求，用起来其实跟tornado差不多，但是要简陋很多，cookie之类的都没有。用gevent写的一些API服务，部署方式还是类似tornado，用supervisor管理多个守护进程，通过nginx做负载均衡。 同样的它的奇葩用法也和tornado一样，可以当wsgi容器用。

由于字数的限制，其实本篇文章的全标题为 《如何在 virtualenv 环境下 Django + Nginx + Gunicorn+ Supervisor 搭建 Python Web》

在这篇文章里，我们将搭建一个简单的 Web 应用，在虚拟环境中基于 Flask 框架，用 Gunicorn 做 wsgi 容器，用 Supervisor 管理进程，然后使用 OneAPM Python 探针来监测应用性能，形成一个「闭环」 ！希望能对大家有所帮助，首先简单来介绍一下环境：

系统环境：ubuntu 1404 Python 276

安装组件库

第一步安装所需要的存储库，因为打算用到虚拟环境，用到 pip 安装和管理 Python 组件，所以先更新本地包，然后安装组件：

sudo apt-get updatesudo apt-get install python-pip python-dev nginx

创建虚拟环境 virtualenv

在一个系统中创建不同的 Python 隔离环境，相互之间还不会影响，为了使系统保持干净，遂决定用 virtualenv 跑应用程序，创建一个容易识别的目录，开始安装，再创建项目目录 super，然后激活环境：

sudo pip install virtualenv

mkdir ~/supervisor && cd ~/supervisor

virtualenv supersource super/bin/activate

安装 Flask 框架

好了，现在在虚拟环境里面，开始安装 Flask 框架，flask 依赖两个库 werkzeug 和 jinjia2, 采用 pip 方式安装即可, pip 是一个重要的工具，Python 用它来管理包：

pip install flask

先用 Flask 写一个简单的 Web 服务 mywebpy ，因为后面要做一些测试，所以设置了几个请求：

from flask import Flask

app = Flask(__name__)

@approute('/')def index(): return 'hello world supervisor gunicorn '@approute('/1')def index1(): return 'hello world supervisor gunicorn ffffff'@approute('/qw/1')def indexqw(): return 'hello world supervisor gunicorn fdfdfbdfbfb 'if __name__ == '__main__':

appdebug = True

apprun()

启动 Flask 看看！

python mywebpy

在浏览器中访问 http://127001:5000 就可以看到了「几个路径都试一试」

用 Gunicorn 部署 Python Web

现在我们使用 Flask 自带的服务器，完成了 Web 服务的启动。生产环境下，Flask 自带的服务器，无法满足性能要求。所以我们这里采用 Gunicorn 做 wsgi 容器，用来部署 Python，首先还是安装 Gunicorn：

pip install gunicorn

当我们安装好 Gunicorn 之后，需要用 Gunicorn 启动 Flask，Flask 用自带的服务器启动时，Flask 里面的 name 里面的代码启动了 apprun()。而这里我们使用 Gunicorn，mywebpy 就等同于一个库文件，被 Gunicorn 调用，这样启动：

gunicorn -w 4 -b 0000:8000 myweb:app

其中 myweb 就是指 mywebpy，app 就是那个 wsgifunc 的名字，这样运行监听 8000 端口，原先的 5000 端口并没有启用，-w 表示开启多少个 worker，-b 表示 Gunicorn 开发的访问地址。

想要结束 Gunicorn 只需执行 pkill Gunicorn，但有时候还要 ps 找到 pid 进程号才能 kill。可是这对于一个开发来说，太过于繁琐，因此出现了另外一个神器 ---supervisor，一个专门用来管理进程的工具，还可以管理系统的工具进程。

安装 Supervisor

pip install supervisor

echo_supervisord_conf > supervisorconf # 生成 supervisor 默认配置文件gedit supervisorconf # 修改 supervisor 配置文件，添加 gunicorn 进程管理在 supervisorconf 底部下添加 mywebpy 的配置 `/home/wang/supervisor/super` 是我的项目目录」

[program:myweb]

command=/home/wang/supervisor/super/bin/gunicorn -w 4 -b 0000:8000 myweb:app

directory=/home/wang/supervisor

startsecs=0 stopwaitsecs=0 autostart=false

autorestart=false

user=wang

stdout_logfile=/home/wang/supervisor/log/gunicornlog

stderr_logfile=/home/wang/supervisor/log/gunicornerr

supervisor 的基本使用命令：

supervisord -c supervisorconf supervisorctl -c supervisorconf status 查看supervisor的状态

supervisorctl -c supervisorconf reload 重新载入 配置文件

supervisorctl -c supervisorconf start [all]|[appname] 启动指定/所有 supervisor 管理的程序进程

supervisorctl -c supervisorconf stop [all]|[appname] 关闭指定/所有 supervisor 管理的程序进程

supervisor 还有一个 web 的管理界面，可以激活。更改下配置：

[inet_http_server] ; inet (TCP) server disabled by defaultport=127001:9001 ; (ip_address:port specifier, :port for alliface)

username=wang ; (default is no username (open server)

password=123 ; (default is no password (open server))

[supervisorctl]

serverurl=unix:///tmp/supervisorsock ; use a unix:// URL for a unix socketserverurl=http://127001:9001 ; use an http:// url to specify an inet socketusername=wang ; should be same as http_username if setpassword=123 ; should be same as http_password if set;prompt=mysupervisor ; cmd line prompt (default "supervisor");history_file=~/sc_history ; use readline history if available

现在可以使用 supervsior 启动 gunicorn 啦。运行命令:

supervisord -c supervisorconf

浏览器访问 http://127001:9001 可以得到 supervisor 的 web 管理界面，访问 http://127001:8000 可以看见 gunicorn 启动的返回的页面。

配置 Nginx

前面我们已经在系统环境下安装了 Nginx, 安装好的 Nginx 二进制文件放在 /usr/sbin/ 文件夹下，接下来使用 Supervisor 来管理 Nginx。这里需要注意一个问题，权限问题。Nginx 是 sudo 的方式安装，启动的适合也是 root 用户，那么我们现在也需要用 root 用户启动 supervisor。在 supervisorconf 下添加配置文件：

[program:nginx]command=/usr/sbin/nginxstartsecs=0stopwaitsecs=0autostart=falseautorestart=falsestdout_logfile=/home/wang/supervisor/log/nginxlogstderr_logfile=/home/wang/supervisor/log/nginxerr

好了，都配置完之后，启动 supervisor：

supervisord -c supervisorconf

访问页面，也可以用 ab 进行压力测试：

ab -c 100 -n 100 http://127001:8000/qw/1

-c 用于指定压力测试的并发数, -n 用于指定压力测试总共的执行次数。

安装 Python 探针

搭建好了 web，想实时监控应用数据，有什么好的工具，用 OneAPM 的 Python 探针试试，

首先也是安装 Python 探针：

pip install -i http://pypioneapmcom/simple --upgrade blueware

根据 License Key 生成配置文件：

blueware-admin generate-config (License Key) = bluewareini

由于是在虚拟环境下，所以要特别注意路径，修改 supervisorconf 里面两项：

[program:myapp]

command = /home/wang/supervisor/super/bin/blueware-admin run-program /home/wang/supervisor/super/bin/gunicorn -w 4 -b 0000:8000 myapp:app

environment = BLUEWARE_CONFIG_FILE=bluewareini

重启应用

supervisorctl # 进入命令行supervisor> reload # 重新加载

向上面一样访问页面，也可以用 ab 进行压力测试

几分钟后有下图，可以看到页面加载时间，web 事物，页面吞吐量，其中后面是设置自定义事物「Business Transaction」。

参考文章

不过，既然接受了Python的简单易用和快速开发优势，作为tradeoff，就要学会接受和处理Python的一些缺点。用django作数据服务器两年多，确实会有一些性能问题。

1异步django的http请求是同步的，通过gevent的协程来实现异步就解决了，很快。

2缓存和队列用ZeroMQ、Memcached来做缓存和队列就解决了。

3影响性能的函数如果真的有CPU密集型的函数影响性能，可以编译成C来解决性能问题，一些矩阵操作也可以通过numpy来解决

压力测试有很多工具啊。apache的，还有jmeter, 还有loadrunner，都比较常用。 其实你自己用python写的，也足够用。

压力测试过程中要统计时间。 比如每秒的并发数，每秒的最大响应时间， 最小响应时间， 平均响应时间。

最后再统一所有的请求完成后的上术参数。

将这些参数输出成CSV格式的文件。 如果不知道什么是CSV就是指将数据用引号包起来，中间用逗号分开，一系统数据放一行。

有了这个CSV文件，你用EXCEL打开来做图就可以。

如果你熟练，可以使用gnuplot这个命令行工具做图。