计划,每天学习两小时,坚持带来大改变。

PHP FastCGI进程管理器PHP-FPM的架构初探

PHP 阿尤 149浏览 0评论

 
一个master进程,支持多个pool,每个pool由master进程监听不同的端口,pool中有多个worker进程. 
每个worker进程都内置PHP解释器,并且进程常驻后台,支持prefork动态增加. 
每个worker进程支持在运行时编译脚本并在内存中缓存生成的opcode来提升性能. 
每个worker进程支持配置响应指定请求数后自动重启,master进程会重启挂掉的worker进程. 
每个worker进程能保持一个到MySQL/Memcached/Redis的持久连接,实现"连接池",避免重复建立连接,对程序透明. 
使用数据库持久连接时应该设置固定数量的worker进程数,不要使用动态的prefork模式. 

这里纠正下网络上一些文章里,以下两句有误: 
master进程采用epoll模型异步接收和分发请求,listen监听端口,epoll_wait等待连接. 
然后分发给对应pool里的worker进程,worker进程accpet请求后poll处理连接. 
应该是: 
master进程并不接收和分发请求,而是worker进程直接accpet请求后poll处理. 

经查看源代码结构,php已经支持epoll模型,监听时epoll,accept后poll
master进程不断调用epoll_wait和getsockopt是用来异步处理信号事件和定时器事件. 
这里提一下,Nginx也类似,master进程并不处理请求,而是worker进程直接处理, 
不过区别在于Nginx的worker进程是epoll异步处理请求,而PHP-FPM仍然是poll. 

如果worker进程不够用,master进程会prefork更多进程, 
如果prefork达到了pm.max_children上限,worker进程又全都繁忙, 
这时master进程会把请求挂起到连接队列backlog里(默认值是511). 

1个PHP-FPM工作进程在同一时刻里只能处理1个请求. 
MySQL的最大连接数max_connections默认是151. 
只要PHP-FPM工作进程数不超过151,就不会出现连接不上MySQL的情况. 
而且正常情况下,也不需要开启那么多的PHP-FPM工作进程, 
比如4个PHP-FPM进程就能跑满4个核心的CPU, 
那么你开40个PHP-FPM进程也没有任何意义, 
只会占用更多的内存,造成更多的CPU上下文切换,性能反而更差. 
为了减少每个请求都重复建立和释放连接的开销,可以开启持久连接, 
一个PHP-FPM进程保持一个到MySQL的长连接,实现透明的"连接池". 

Nginx跟PHP-FPM分开,其实是很好的解耦,PHP-FPM专门负责处理PHP请求,一个页面对应一个PHP请求, 
页面中所有静态资源的请求都由Nginx来处理,这样就实现了动静分离,而Nginx最擅长的就是处理高并发. 
PHP-FPM是一个多进程的FastCGI服务,类似Apache的prefork的进程模型, 
对于只处理PHP请求来说,这种模型是很高效很稳定的. 
不像Apache(libphp.so),一个页面,要处理多个请求,包括图片,样式表,JS脚本,PHP脚本等. 

那么 Nginx 又是如何发送请求给 fpm 的呢?这就需要从 Nginx 层面来说明了。

我们知道,Nginx 不仅仅是一个 Web 服务器,也是一个功能强大的 Proxy 服务器,除了进行 http 请求的代理,也可以进行许多其他协议请求的代理,包括本文与 fpm 相关的 fastcgi 协议。为了能够使 Nginx 理解 fastcgi 协议,Nginx 提供了 fastcgi 模块来将 http 请求映射为对应的 fastcgi 请求。

Nginx 的 fastcgi 模块提供了 fastcgi_param 指令来主要处理这些映射关系,下面 Ubuntu 下 Nginx 的一个配置文件,其主要完成的工作是将 Nginx 中的变量翻译成 PHP 中能够理解的变量。

除此之外,非常重要的就是 fastcgi_pass 指令了,这个指令用于指定 fpm 进程监听的地址,Nginx 会把所有的 php 请求翻译成 fastcgi 请求之后再发送到这个地址。下面一个简单的可以工作的 Nginx 配置文件:

在这个配置文件中,我们新建了一个虚拟主机,监听在 80 端口,Web 根目录为 /home/rf/projects/wordpress。然后我们通过 location 指令,将所有的以 .php 结尾的请求都交给 fastcgi 模块处理,从而把所有的 php 请求都交给了 fpm 处理,从而完成 Nginx 到 fpm 的闭环。


php-fpm从5.3开始才进入PHP源代码主干,之前版本没有php-fpm. 
那时的spawn-fcgi是一个需要调用php-cgi的FastCGI进程管理器, 
另外像Apache的mod_fcgid和IIS的PHP Manager也需要调用php-cgi进程, 
但php-fpm则根本不依赖php-cgi,完全独立运行,也不依赖php(cli)命令行解释器. 
因为php-fpm是一个内置了php解释器的FastCGI服务,启动时能够自行读取php.ini配置和php-fpm.conf配置. 

个人认为,PHP-FPM工作进程数,设置为2倍CPU核心数就足够了. 
毕竟,Nginx和MySQL以及系统同样要消耗CPU. 
根据服务器内存来设置PHP-FPM进程数非常不合理, 
把内存分配给MySQL,Memcached,Redis,Linux磁盘缓存(buffers/cache)这些服务显然更合适. 
过多的PHP-FPM进程反而会增加CPU上下文切换的开销. 
PHP代码中应该尽量避免curl或者file_get_contents这些可能会产生较长网络I/O耗时的代码. 
注意设置CURLOPT_CONNECTTIMEOUT_MS超时时间,避免进程被长时间阻塞. 
如果要异步执行耗时较长的任务,可以 pclose(popen('/path/to/task.php &', 'r')); 打开一个进程来处理, 
或者借助消息队列,总之就是要尽量避免阻塞到PHP-FPM工作进程. 
在php-fpm.conf中把request_slowlog_timeout设为1秒,在slowlog中查看是否有耗时超过1秒的代码. 
优化代码,能够为所有PHP-FPM工作进程减负,这个才是提高性能的根本方法. 

能让CPU满负荷运行的操作可以视为CPU密集型操作. 
上传和下载则是典型的I/O密集型操作,因为耗时主要发生在网络I/O和磁盘I/O. 
需要PHP认证的下载操作可以委托为Nginx的AIO线程池: 
header("X-Accel-Redirect: $file_path"); 
至于上传操作,比如可以建立一个监听9001端口的名为upload的PHP-FPM进程池(pool), 
专门负责处理上传操作(通过Nginx分发),避免上传操作阻塞到监听9000端口的计算密集的www进程池. 
这时upload进程池多开点进程也无所谓. 
nginx.conf: 

location = /upload.php { include fastcgi_params; 
    fastcgi_pass 127.0.0.1:9001; 
    fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name; 
} 

 


php-fpm.conf: 

1
2
3
4
5
6
7
8
9
10
11
[www]
listen = 127.0.0.1:9000
pm = static
pm.max_children = 4
[upload]
listen = 127.0.0.1:9001
pm = dynamic
pm.max_children = 8
pm.start_servers = 4
pm.min_spare_servers = 4
pm.max_spare_servers = 4



其中IO密集这个进程池[io]采用动态的prefork进程,比如这里是繁忙时8个,空闲时4个. 
利用PHP-FPM提供的池的隔离性,分离计算密集和I/O密集操作,可以减少阻塞对整个PHP应用的影响. 

补充: 
info.php 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
<?php
if( isset($_POST['submit']) ) {
    header('Content-Type: text/plain; charset=utf-8');
    //chmod 777 uploads
    move_uploaded_file($_FILES['upload_file']['tmp_name'], 'uploads/'.$_FILES['upload_file']['name']);
    print_r($_FILES['upload_file']);
    exit();
} else {
    header('Content-Type: text/html; charset=utf-8');
}
?>
<!DOCTYPE HTML>
<html>
    <head>
        <meta charset="utf-8">
        <title>PHP文件上传测试</title>
    </head>
    <body>
        <!-- enctype="multipart/form-data" 以二进制格式POST传输数据 -->
        <form action="<?php echo pathinfo(__FILE__)['basename']; ?>" method="POST" enctype="multipart/form-data">
            <div>文件1 <input type="file" name="upload_file" /></div>
            <div><input type="submit" name="submit" value="提交" /></div>
        </form>
    </body>
</html>



Nginx和PHP-FPM的工作进程各自只开1个. 
以2KB每秒上传图片: 

1
2
3
4
5
6
time trickle -s -u 2 curl \
-F "action=info.php" \
-F "[email protected];type=image/jpeg" \
-F "submit=提交" \
http://www.example.com/app/info.php
sudo netstat -antp|egrep "curl|nginx|fpm"



发现只有nginx和curl处于ESTABLISHED状态,nginx和fpm都没有被阻塞. 
top -p 4075 可见Nginx单线程. 
sudo strace -p 4075 可见Nginx调用recvfrom接收数据并且pwrite保存数据. 
sudo strace -p 13751 可见PHP-FPM是在Nginx接收完成用户上传的数据时才获取数据. 
既然如此,我设想的另开PHP-FPM进程池处理上传操作的用处就不是太大了. 
在文件上传过程中PHP-FPM并不会被阻塞,因为Nginx接收完上传的内容后才一次性交给PHP-FPM. 
附:以2KB每秒下载图片 



1
2
3
4
5
6
time trickle -s -u 2 curl \
-F "action=info.php" \
-F "[email protected];type=image/jpeg" \
-F "submit=提交" \
http://www.example.com/app/info.php
sudo netstat -antp|egrep "curl|nginx|fpm"

本文分享就到这里了,如果有些细节还有疑惑,请继续阅读以下参考文献,你能获得更详细的知识。

参考文献

https://blog.csdn.net/ztyzly00/article/details/50913957

https://www.jianshu.com/p/578cf2e4892e

http://taozj.net/201611/about-multi-process-thread-dev-manage.html

https://zhuanlan.zhihu.com/p/20694204

http://tengine.taobao.org/book/chapter_02.html



转载请注明:阿尤博客 » PHP FastCGI进程管理器PHP-FPM的架构初探

游客
发表我的评论 换个身份
取消评论

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  • 验证码 (必填)点击刷新验证码