nginx connections 过高

edgar.wyh

我们业务使用的vip下挂载rs的结构，我发现同一个vip下的有些rs，有时通过stub_status看到的连接数过高，主要表现在Writing 过高。当我把过高的rs从vip中摘除一段时间后，没有tcp访问了，但是还会显示如下图的有7000多连接：

这种问题目前没有发现实质性影响，也就是应该不影响使用，但会让我误认为nginx连接数过高，之前几次临时解决办法都是重启nginx，reload nginx并不能解决。

重启nginx后，可以看到服务器真实压力一般不到3000，如下，同组其他rs压力都是一样的。我想知道这种情况算不算nginx的一个bug，我需要如何排查呢？

[root@logv9 /etc/nginx/html]# curl -s http://127.0.0.1/server-status

Active connections: 2041

server accepts handled requests

10741035 10741035 10690679

Reading: 0 Writing: 1381 Waiting: 608

location /server-status {

stub_status on;

access_log off;

allow 127.0.0.1;

deny all;

}

在用版本如下，之前发现再老一些的版本有时也会这样：

[root@logv9 /etc/nginx/html]# nginx -V

nginx version: nginx/1.10.2

edgar.wyh

补充下，所有rs，也就是所有同一个vip 下的nginx服务器配置和操作系统、软件环境是完全一样的。

spacewanderlzx

Writing 会在结束请求的时候减去。如果 Writing
异常地高，最直接的可能是存在请求泄漏的问题。不过一般情况下不可能会有这种情况，另外即使有，也不太可能没有实际影响。错误日志里面有什么有价值的线索吗？

> 没有tcp访问了，但是还会显示如下图的有7000多连接：
这里的 7000 多连接是一直保持不变，还是随着时间的迁移，会最终变为零？

顺便问下，你用的是 vanilla Nginx 吗？有没有其他第三方模块呢？

2017-12-16 17:50 GMT+08:00 Edgar H <edga...@gmail.com>:
> 补充下，所有rs，也就是所有同一个vip 下的nginx服务器配置和操作系统、软件环境是完全一样的。
>
> --
>

edgar.wyh

dmesg里的如下，error log里面没有相应异常。

TCP: time wait bucket table overflow

__ratelimit: 9892 callbacks suppressed

TCP: time wait bucket table overflow

这里的 7000 多连接应该是一直保持不变的，因为健康检查还会被访问，所以数量会多一个或者少一个，如下图说明。

我还是倾向于认为某种原因导致这些连接，一直没有被“释放”或者“回收”，也就是会长期显示存在，不一定真的存在，除非重启：

nginx 版本就是官方的，添加了luajit-2.0.3。

在 2017年12月17日星期日 UTC+8下午10:16:48，Zexuan Luo写道：

Writing 会在结束请求的时候减去。如果 Writing
异常地高，最直接的可能是存在请求泄漏的问题。不过一般情况下不可能会有这种情况，另外即使有，也不太可能没有实际影响。错误日志里面有什么有价值的线索吗？

> 没有tcp访问了，但是还会显示如下图的有7000多连接：
这里的 7000 多连接是一直保持不变，还是随着时间的迁移，会最终变为零？

顺便问下，你用的是 vanilla Nginx 吗？有没有其他第三方模块呢？

2017-12-16 17:50 GMT+08:00 Edgar H <edga...@gmail.com>:
> 补充下，所有rs，也就是所有同一个vip 下的nginx服务器配置和操作系统、软件环境是完全一样的。
>
> --
>

zchao1995

题主 configure nginx 的时候，有开启 debug 吗，如果有的话，最好贴一下 dedug 日志供分析。

edgar.wyh

之前没开，刚才在一台异常连接数的上面开了一会debug，有些类型下面信息，请看下，有较多reset，业务真实域名我已经删除：

2017/12/19 15:04:45 [info] 1195#1195: *30450847109 recv() failed (104: Connection reset by peer), client: 112.17.242.143, server: , request: "POST /pstat/plog.php HTTP/1.1", host:

2017/12/19 15:04:45 [info] 1195#1195: *30450847112 recv() failed (104: Connection reset by peer), client: 211.136.222.91, server: , request: "POST /pstat/plog.php HTTP/1.1", host:

2017/12/19 15:04:45 [info] 1192#1192: *30450847321 recv() failed (104: Connection reset by peer), client: 183.207.208.232, server: , request: "POST /pstat/plog.php HTTP/1.1", host:

2017/12/19 15:04:45 [info] 1195#1195: *30450847348 recv() failed (104: Connection reset by peer), client: 120.209.175.138, server: , request: "POST /pstat/plog.php HTTP/1.1", host:

2017/12/19 15:04:48 [info] 1191#1191: *30450836906 peer closed connection in SSL handshake while SSL handshaking, client: 111.17.218.126, server: 0.0.0.0:443

2017/12/19 15:04:48 [info] 1190#1190: *30450853626 client closed connection while waiting for request, client: 117.136.80.106, server: 0.0.0.0:443

2017/12/19 15:04:48 [info] 1191#1191: *30450733571 client timed out (110: Connection timed out) while waiting for request, client: 111.147.216.124, server: 0.0.0.0:80

2017/12/19 15:04:48 [info] 1189#1189: *30450854119 peer closed connection in SSL handshake while SSL handshaking, client: 117.136.62.40, server: 0.0.0.0:443

2017/12/19 15:04:48 [info] 1190#1190: *30450734020 client timed out (110: Connection timed out) while waiting for request, client: 39.181.204.107, server: 0.0.0.0:80

2017/12/19 15:04:48 [info] 1195#1195: *30450734042 client timed out (110: Connection timed out) while waiting for request, client: 223.104.34.81, server: 0.0.0.0:80

在 2017年12月18日星期一 UTC+8上午11:09:41，tokers写道：

题主 configure nginx 的时候，有开启 debug 吗，如果有的话，最好贴一下 dedug 日志供分析。