新手求助：压测感觉长连接数目不够，求帮忙鉴定是否参数有问题

kaito.sys · 2013-09-29T14:45:57+00:00

Hello! 2013/9/29 Wang Jingfei: > 谢谢春哥，我使用第一个方法 > 但&#...

新手求助：压测感觉长连接数目不够，求帮忙鉴定是否参数有问题

kaito.sys

nginx-1.4.2+lua-resty-memcached-master

nginx配置：
worker_processes 12;

events {
    worker_connections 1024;
    accept_mutex off;
}

location /test {
            content_by_lua '
                local memcached = require "resty.memcached"
...
                local ok, err = memc:set_keepalive(100000, 100)<------完全照搬示例程序，除了这个时间修改成长连接100秒超时
                if not ok then
                    ngx.say("cannot set keepalive: ", err)
                    return
                end

我进行了两次压测：
第一次不使用长连接，直接mem:close()
Transaction rate:            8677.38 trans/sec
netstat监控tcp链接在300-1000个之间浮动

第二次使用长连接，是上面那个程序，
压测1分钟，长连接不会超时
Transaction rate:           10420.98 trans/sec
netstat监控tcp链接在300-500个之间浮动
但是！！！
等压测结束后，只剩下26个链接，也就是说其他的一堆都是短连接，

我想不明白，我明明连接池开了100，8个线程，为什么只建立出26个长连接来？
求各位大哥指教。

kaito.sys

补充信息：
压测工具使用的siege
并发15个时，长连接16个，10566.15 trans/sec
并发50个时，长连接32个，11700.71 trans/sec
并发100个时，长连接46个，11774.56 trans/sec

服务器tcp设置：
/proc/sys/net/ipv4/tcp_timestamps 1

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

On Sunday, September 29, 2013 2:45:57 PM UTC+8, kait...@gmail.com wrote:

nginx-1.4.2+lua-resty-memcached-master

agentzh

Hello!

On Sat, Sep 28, 2013 at 11:45 PM,  kaito.sys wrote:
> 第二次使用长连接，是上面那个程序，
> 压测1分钟，长连接不会超时
> Transaction rate:           10420.98 trans/sec
> netstat监控tcp链接 在300-500个之间浮动
> 但是！！！
> 等压测结束后，只剩下26个链接，也就是说其他的一堆都是短连接，
>
> 我想不明白，我明明连接池开了100，8个线程，为什么只建立出26个长连接来？

你在 set_keepalive 方法里设置了 max_idle_time 参数为 100 秒，所以当连接池内的连接空闲 1 分多钟之后便会自动关闭。

值得一提的是，你总是可以使用 Nginx Systemtap Toolkit 中的 ngx-lua-conn-pools 工具对你这里的连接池状态进行实时监视：

    https://github.com/agentzh/nginx-systemtap-toolkit#ngx-lua-conn-pools

另外，记得时刻观察你的 nginx 错误日志里的任何错误信息（如果有的话） :)

Best regards,
-agentzh

agentzh

Hello!

2013/9/29  kaito.sys:
> 补充信息：
> 压测工具使用的siege
> 并发15个时，长连接16个，10566.15 trans/sec
> 并发50个时，长连接32个，11700.71 trans/sec
> 并发100个时，长连接46个，11774.56 trans/sec
>

这个数字比例是符合直接的，因为下游的并发数并不一定会等于上游的并发数。比如当 nginx 处理某一个下游连接本身的一些事件时，并没有占用着
memcached 连接，即连接池内的 memcached 连接可以为另一个并发的下游连接所复用。

为减少这里的下游连接的处理开销，你可以在你的压测工具中启用 HTTP keepalive（我不清楚 siege 是否支持以及如何启用，ab
和 weighttp 都是指定 -k 选项）。

另外，你查看 TIME_WAIT 状态的到 memcached 的连接数也可以帮助确认这里发生的事情。

Regards,
-agentzh

kaito.sys

感谢！
指路明灯！
我去下载 ngx-lua-conn-pools和ab

On Monday, September 30, 2013 3:33:32 AM UTC+8, agentzh wrote:

Hello!

2013/9/29 kaito.sys:
> 补充信息：
> 压测工具使用的siege
> 并发15个时，长连接16个，10566.15 trans/sec
> 并发50个时，长连接32个，11700.71 trans/sec
> 并发100个时，长连接46个，11774.56 trans/sec
>

这个数字比例是符合直接的，因为下游的并发数并不一定会等于上游的并发数。比如当 nginx 处理某一个下游连接本身的一些事件时，并没有占用着
memcached 连接，即连接池内的 memcached 连接可以为另一个并发的下游连接所复用。

为减少这里的下游连接的处理开销，你可以在你的压测工具中启用 HTTP keepalive（我不清楚 siege 是否支持以及如何启用，ab
和 weighttp 都是指定 -k 选项）。

另外，你查看 TIME_WAIT 状态的到 memcached 的连接数也可以帮助确认这里发生的事情。

Regards,
-agentzh