openresty和后端tomcat的连接池问题

tracymacding · 2013-11-01T12:02:06+00:00

& 转为 html 实体才是 & （比如 php 里 htmlspecialchars）应该是...

openresty和后端tomcat的连接池问题

tracymacding

Hi，春哥：

我们现在使用中将openresty作为反向代理服务器，连到后面的tomcat，配置keepalive数量为128，最近在测试的时候发现一些有趣的事情，不是很明白，请指点一二。

测试环境

ab/webench + openresty + tomcat ,upstream模块的keepalive配置为128；

测试结果：

1. openresty未配置限速时，使用ab -c 100 -t 90 url ，发现openresty和后端的tomcat的established状态的连接达到了200 ~300

2. openresty配置限速为10K，使用ab -c 100 -t 90 url ，发现openresty和后端的tomcat的established状态的连接数为100，一段时间后，逐渐降低；

对上面的现象比较疑惑：

1. 无限速时，为什么并发数为100的时候，openresty和后端的tomcat连接数能达到200多？

2. 限速时，为什么并发数同为100，连接数却一直维持在100？

渴望能提供一点思路~~

jie123108

因为nginx是异步架构，客户端并发100，跟你后端有多少个连接完全没关系。就算客户端并发只有1. 如果后端足够慢。代理到后端连接数也可以

达到几百几千。举个简单例子：所有人排一个队到餐厅就餐，但餐厅同时就餐的人还是可以达到几百个，对不对！

限速时刚好100个连接我觉得只是巧合了。

jie123108

发件人： Kai Ding

发送时间： 2013-11-01 12:02

收件人： openresty

主题： [openresty] openresty和后端tomcat的连接池问题

Hi，春哥：

测试环境

ab/webench + openresty + tomcat ,upstream模块的keepalive配置为128；

测试结果：

1. openresty未配置限速时，使用ab -c 100 -t 90 url ，发现openresty和后端的tomcat的established状态的连接达到了200 ~300

2. openresty配置限速为10K，使用ab -c 100 -t 90 url ，发现openresty和后端的tomcat的established状态的连接数为100，一段时间后，逐渐降低；

对上面的现象比较疑惑：

1. 无限速时，为什么并发数为100的时候，openresty和后端的tomcat连接数能达到200多？

2. 限速时，为什么并发数同为100，连接数却一直维持在100？

渴望能提供一点思路~~

tracymacding

假设我们用C代表客户端，N代表Nginx，T代表后面的Tomcat，那么有：

C ====>> N ======>> T

在这条数据通路上，N和T之间的连接数其实应该主要取决于C向N发出的请求数量。

拿我上面的例子来说，假如并发数为100，即C会与N建立100个连接（C1，C2.....C100），并在每个连接上依次发送请求，假如请求我们用Ri,j来表示，Ri,j代表第i个连接上的第j个请求，如果Ri,j请求尚未执行完成的话，Ri,j+1应该是不会被Nginx执行吧，甚至有可能都没有被Ci发出，因为Ci上的请求应该是串行发送的吧。

回归我们的例子，不限速时，C与N之间的连接数观察了下在100左右浮动，每个连接上同时应该只有1个http请求在传输，那岂不是意味着Nginx应该也只会与后面的T只有100个连接？

我现在不确定我上面的理解是否正确，或者说，到底什么地方出了问题？

在 2013年11月1日星期五UTC+8下午2时11分27秒，jie123108写道：

因为nginx是异步架构，客户端并发100，跟你后端有多少个连接完全没关系。就算客户端并发只有1. 如果后端足够慢。代理到后端连接数也可以

达到几百几千。举个简单例子：所有人排一个队到餐厅就餐，但餐厅同时就餐的人还是可以达到几百个，对不对！

限速时刚好100个连接我觉得只是巧合了。

jie123108

发件人： Kai Ding

发送时间： 2013-11-01 12:02

收件人： openresty

主题： [openresty] openresty和后端tomcat的连接池问题

Hi，春哥：

我们现在使用中将openresty作为反向代理服务器，连到后面的tomcat，配置keepalive数量为128，最近在测试的时候发现一些有趣的事情，不是很明白，请指点一二。

测试环境

ab/webench + openresty + tomcat ,upstream模块的keepalive配置为128；

测试结果：

1. openresty未配置限速时，使用ab -c 100 -t 90 url ，发现openresty和后端的tomcat的established状态的连接达到了200 ~300

2. openresty配置限速为10K，使用ab -c 100 -t 90 url ，发现openresty和后端的tomcat的established状态的连接数为100，一段时间后，逐渐降低；

对上面的现象比较疑惑：

1. 无限速时，为什么并发数为100的时候，openresty和后端的tomcat连接数能达到200多？

2. 限速时，为什么并发数同为100，连接数却一直维持在100？

渴望能提供一点思路~~

--

agentzh

Hello!

2013/10/31 Kai Ding:
>
> 我们现在使用中将openresty作为反向代理服务器，连到后面的tomcat，配置keepalive数量为128，
>

这意味着你每个 nginx worker 进程最多会保持 128 个后端连接。

另外，这一块是标准 nginx 的功能，并不特定于 openresty.

>        测试结果：
>        1. openresty未配置限速时，使用ab -c 100 -t 90 url
> ，发现openresty和后端的tomcat的established状态的连接达到了200 ~300

我觉得这个结果在你配置了多个 nginx worker 进程的时候是很正常的。因为连接池是每 worker
的，所以请求可能被任何一个进程所服务，其留在当前 worker 里的连接也是任意的。由于你每个 worker 最多可以保持 128
个长连接，所以当有很多请求时，这些长连接在各个 worker 进程自己的连接池里的分布一般也是不完全均匀的。

一般地，

1. 不应把连接池的容量配置得过大，因按 worker 数平均一下；
2. 应该在后端服务器（在这里是 tomcat）一侧配置较短的 keepalive 连接的超时限制。

>        2. openresty配置限速为10K，使用ab -c 100 -t 90 url
> ，发现openresty和后端的tomcat的established状态的连接数为100，一段时间后，逐渐降低；

你这里的“限速为10K”具体对应什么样的配置？在 Nginx 中进行限速有很多不同的方式。

Regards,
-agentzh

tracymacding

恩，春哥说的没错，确实是这样的，非常感谢！

在 2013年11月2日星期六UTC+8上午6时08分57秒，agentzh写道：

Hello!

2013/10/31 Kai Ding:
>
> 我们现在使用中将openresty作为反向代理服务器，连到后面的tomcat，配置keepalive数量为128，
>

这意味着你每个 nginx worker 进程最多会保持 128 个后端连接。

另外，这一块是标准 nginx 的功能，并不特定于 openresty.

> 测试结果：
> 1. openresty未配置限速时，使用ab -c 100 -t 90 url
> ，发现openresty和后端的tomcat的established状态的连接达到了200 ~300

我觉得这个结果在你配置了多个 nginx worker 进程的时候是很正常的。因为连接池是每 worker
的，所以请求可能被任何一个进程所服务，其留在当前 worker 里的连接也是任意的。由于你每个 worker 最多可以保持 128
个长连接，所以当有很多请求时，这些长连接在各个 worker 进程自己的连接池里的分布一般也是不完全均匀的。

一般地，

1. 不应把连接池的容量配置得过大，因按 worker 数平均一下；
2. 应该在后端服务器（在这里是 tomcat）一侧配置较短的 keepalive 连接的超时限制。

> 2. openresty配置限速为10K，使用ab -c 100 -t 90 url
> ，发现openresty和后端的tomcat的established状态的连接数为100，一段时间后，逐渐降低；

你这里的“限速为10K”具体对应什么样的配置？在 Nginx 中进行限速有很多不同的方式。

Regards,
-agentzh