浅析Python项目部署
linshukai Lv2
  2020-12-15 11:47:00 2020-12-15 11:47   2024-12-12 07:14:57      2.1k 字  8 分钟  

基础理论

关于Web服务器和应用服务器

基本概念：

  • Web服务器主要功能就是存储、处理、传递网页，客户端和服务器之间基于HTTP协议进行通信。
  • 应用服务器主要是处理动态请求，调用相应的对象完成对请求的处理，返回响应的结果。

两者之间的区别：

  • Web服务器主要是以HTTP为核心，WEB UI为向导的应用，处理一些静态请求。
  • 应用服务器虽然也支持HTTP协议，但应用服务器可以通过很多协议为应用程序提供商业逻辑。

Python项目部署架构

在我们平时搭建一个Python Web项目时，比如Django框架的项目，这时候常见的服务端架构：

  1. Nginx服务器作为代理服务器，代理处理静态资源（js,css,图片)请求，以及动态请求（增删改查）转发以及返回处理结果。
  2. uWSGI服务器负责接受Nginx服务器，处理过后转发给Django应用，接受Django应用处理返回的信息，在转发给nginx
  3. Django应用从uWSGI服务器接收请求，调用相应的业务逻辑，处理数据渲染相应的页面并且返回给uWSGI服务器。

关于cgi、wsgi、uwsgi、http协议

接下来针对上文提到Django项目部署架构，聊聊这几个协议在这过程中的作用：

  • http协议：客户端程序和Nginx服务器通信就是基于http协议，而Nginx服务器作为一个代理服务器，会根据HTTP请求返回静态资源还是转发动态请求。
  • cgi协议：cgi协议是外部应用程序和Web服务器之间的接口标准，简而言之，就是规定如何让一个程序与Web服务器程序之间通信。
  • wsgi协议：基于现存的CGI标准设计，一个Python web框架编写的应用程序和Web服务器之间通信的规范。
  • uwsgi：uWSGI服务器独有的协议，用于uWSGI服务器和其他Web服务器之间的数据通信

关于cgi、fastcgi、php-fpm、FastCGI(额外)

  • CGI：是 Web Server 与 Web Application 之间数据交换的一种协议。
  • FastCGI：同 CGI，是一种通信协议，但比 CGI 在效率上做了一些优化。同样，SCGI 协议与 FastCGI 类似。
  • PHP-CGI：是 PHP （Web Application）对 Web Server 提供的 CGI 协议的接口程序。
  • PHP-FPM：是 PHP（Web Application）对 Web Server 提供的 FastCGI 协议的接口程序，额外还提供了相对智能一些任务管理。

关于uWSGI、Nginx服务器

简单来讲，uWSGI也是一个Web服务器，他虽然同时实现了http、uwsgi、wsgi协议,但是更多被作为应用服务器和应用程序之间进行通信。
那么这里就有个疑问了，为什么uWSGI都能直接处理http请求了，还需要Nginx服务器？这样处理有几点原因：

  • 首先Nginx服务器在这过程中属于代理服务器的角色，每当一个http请求进来，就需要经过Nginx服务器，而Nginx服务器的优势就在于异步非阻塞的网络模型，它能够在单线程的情况下处理大量的请求，针对处理静态资源请求；而对于动态请求，能够通过缓存的功能，并且配合CDN进行优化，这样能够极大降低系统的负载，降低客户端响应时间。
  • 其次，Nginx服务器能够进行负载均衡，启用多个后端服务器，通过Nginx对HTTP请求进行分配，这样能够极大优化架构的效率，提高处理的性能。
  • 最后，Nginx有很多模块支持一些比如白名单，黑名单功能，并且配合keepalive实现高可用的架构.
    总而言之，Nginx服务器在处理http请求上，都有着uWSGI没有的优势，所以在日常部署环境中，经常会使用到Nginx+uWSGI。

uWSGI

安装部署

uWSGI有两种安装方式，一种是通过pip安装，一种是通过源码安装。这里就简单介绍pip安装方式，源码安装有兴趣可以私下自己了解。

1
pip install uwsgi

相关文件

uWSGI服务器在启动的过程中主要涉及到以下这几个文件，其中uwsgi.sock还会涉及到Nginx相关部署的问题，在Nginx配置的时候回继续展开讲。

1
2
3
4
5
6
7
(venv) [root@mbb-48 uwsgi]# tree .
.
|-- uwsgi.ini       # uwsgi配置文件
|-- uwsgi.log       # uwsgi日志文件
|-- uwsgi.pid       # uwsgi运行进程pid
|-- uwsgi.sock      # uwsgi socket
`-- uwsgi.status    # uwsgi状态文件

配置示例

以下配置是自己一个项目中用到的，其中的配置参数都是比较常见通用。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[uwsgi]
chdir=/data/Novel/novel_test
module=novel_test.wsgi:application
home=/data/Novel/venv
static-map=/static=/data/Novel/novel_test/static
threads=8
http=0.0.0.0:23606
master=true
vacuum=true
thunder-lock=true
uid=root
gid=root
harakiri=30
post-buffering=4096
socket=%(chdir)/uwsgi/uwsgi.sock
stats=%(chdir)/uwsgi/uwsgi.status
pidfile=%(chdir)/uwsgi/uwsgi.pid
daemonize=%(chdir)/uwsgi/uwsgi.log

配置解析

  • chdir: 定义项目的目录
  • module: 要使用的 WSGI 模块，不同的Python web框架中使用方式也不太一样。
  • home: 指定Python执行环境，这个参数针对有不同Python运行环境，比如virtualenv创建独立Python环境的情况。
  • static-map: 映射静态目录
  • threads: 线程数量
  • http: 指定启动地址和端口
  • master: 启用主进程
  • vacuum: 退出时，清理产生的中间文件（sock,pid,stats)
  • thunder-lock: 序列化接收的内容
  • uid: 指定启动用户
  • gid: 指定启动组
  • harakiri: 设置服务器响应时间
  • post-buffering: 启用缓冲
  • socket: socket文件存放路径
  • stats： stats文件存放路径
  • pidfile: pid文件存放路径
  • daemonize: 日志文件输出文件路径

额外配置

  • processes: 进程数量
  • buffer-size: 设置缓冲大小
  • listen: 设置监听队列大小（默认100）
  • max-requests: 每个工作进程请求书的最高上限
  • procname-prefix-spaced: 工作进程的前缀名
  • wsgi-file: 指定加载WSGI文件

常用命令

上面介绍了相关常用的配置参数，当设置uWSGI参数后，需要启动指定配置文件，以及有关暂停，重启的动作。

1
2
3
uwsgi --ini uwsgi.ini   # 启动uWSGI
uwsgi --stop uwsgi.pid  # 暂停uWSGI
uwsgi --reload uwsgi.pid    # 重启uWSGI

服务监控

uWSGI之一Stats服务器机制，它能将uWSGI状态作为一个JSON对象导出一个socket中，只需要像我们前面配置uWSGI配置文件一样，添加stats选项，跟着一个有效的socket地址接口。

当你配置完毕后，就可以通过客户端连接到指定的socket地址，将会获得一个包含uWSGI内部统计数据的JSON对象。

1
uwsgi --connect-and-read uwsgi.status

执行完这个命令后，读取的返回的结果是一个json字符串，字符串中包括每个线程的状态，整个应用的负载，版本，监听队列等详细的信息。

uwsgitop查看实时状态

uwsgitop是一个开源的实时监控uWSGI服务器状态的工具，安装也十分简单：

1
pip install uwsgitop

具体uwsgitop像一个top命令，监听应用程序并且使用socket地址进行调用，查看进程运行状态，运行详细信息：

1
2
3
4
5
6
7
8
9
10
uwsgitop uwsgi/uwsgi.status
uwsgi-2.0.19.1 - Sun Sep 20 15:58:48 2020 - req: 6 - RPS: 0 - lq: 0 - tx: 67.6K
node: mbb-48 - cwd: /data/Novel/novel_test - uid: 0 - gid: 0 - masterpid: 15109
 WID    %       PID     REQ     RPS     EXC     SIG     STATUS  AVG     RSS     VSZ     TX      ReSpwn  HC      RunT    LastSpwn
 1	100.0   15144   6	0	0	0	idle    15ms    0	0	67.6K   1	0	125.449 15:48:08
  :2    16.7    -	1	0	-	-	idle    -	-	-	-	-
  :3    16.7    -	1	0	-	-	idle    -	-	-	-	-
  :0    33.3    -	2	0	-	-	idle    -	-	-	-	-
  :1    33.3    -	2	0	-	-	idle    -	-	-	-	-

具体有兴趣的同学可以参考github地址：

https://github.com/xrmx/uwsgitop

总结

关于uWSGI服务器相关使用就总结到这里，因为在平时工作中会经常接触到，但是由于没有应用到一些高并发的场景，对于uwsgi调优方面没有多少经验，等待以后遇到此类问题再继续总结性能调优方面的问题。同时有关Nginx方面的配置留到下一篇文章继续讲，未完待续。。。。。

参考文章：

https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/StatsServer.html

https://uwsgi-docs.readthedocs.io/en/latest/Options.html#harakiri

https://www.jianshu.com/p/c3b13b5ad3d7

https://docs.djangoproject.com/zh-hans/2.2/howto/deployment/wsgi/uwsgi/

https://blog.51cto.com/mbb97/2151933

浅析Python项目部署
2020/12/15/浅析Python项目部署/
作者
linshukai
发布于
2020-12-15 11:47
许可
  1. 1. 基础理论
    1. 1.1. 关于Web服务器和应用服务器
    2. 1.2. Python项目部署架构
    3. 1.3. 关于cgi、wsgi、uwsgi、http协议
    4. 1.4. 关于cgi、fastcgi、php-fpm、FastCGI(额外)
    5. 1.5. 关于uWSGI、Nginx服务器
  2. 2. uWSGI
    1. 2.1. 安装部署
    2. 2.2. 相关文件
    3. 2.3. 配置示例
      1. 2.3.1. 配置解析
      2. 2.3.2. 额外配置
    4. 2.4. 常用命令
    5. 2.5. 服务监控
      1. 2.5.1. uwsgitop查看实时状态
  3. 3. 总结
    1. 3.1. 参考文章：