[openresty]反向代理时出现大量ESTABLISHED连接

wangxi968 · 2013-07-08T18:30:26+00:00

Hello! 2013/7/8 刘宏: > nginx版本如下 > sbin/nginx -V > Tengine version: Tengine/1.4.5 (nginx/1.2.8) > buil...

[openresty]反向代理时出现大量ESTABLISHED连接

wangxi968

项目中需要向外部服务器发起请求，配置文件大致如下：

http {

...

upstream dsp {

123.126.53.4:80;

123.126.53.5:80;

keepalive 16;

}

proxy_http_version 1.1;

proxy_ignore_client_abort on;

location /bid {

internal;

proxy_pass_request_headers off;

proxy_set_header Content-Type "application/json";

proxy_set_header Content-Length $http_content_length;

proxy_pass_request_body on;

proxy_connect_timeout 100ms;

proxy_read_timeout 100ms;

proxy_send_timeout 100ms;

proxy_pass http://dsp/rtb/bid;

}

在代码中通过capture /bid来向外部服务器发起请求，因为是外部的服务器，查看日志看到经常有超时发生，运行一段时间后，使用netstat看到有大量的ESTABLISHED连接出现：

tcp 0 0 10.78.96.27:26833 123.126.53.5:80 ESTABLISHED

这些sockete既没有传输数据也没有被关闭，当线上流量大时，运行几个小时候会出现几万个这样的连接，关掉进程后，发现这些连接会处于FIN_WAIT1状态而非TIME_WAIT状态一段时间后才消失掉

自己尝试解决这个问题，发现如果在upstream中只配置一个服务器，则不会出现上面的问题，最后偶然发现如果配置上proxy_next_upstream off;这条指令，配置2个服务器也不会出现上面的问题

请问大家碰到过类似的问题吗，究竟是nginx的bug还是我少配了指令导致的？

jie123108

如下代码，我在 location /test 中设置了参数name为name001，在 /test中输出 name参数可以提到name001.

当进行rewrite后，在 /t2中，再输出 name后，客户端显示为空。

看起来ngx.req.set_uri_args设置的参数只在当前location有效，跳转后就失效了。

有何解决办法？

location ~ /test {

rewrite_by_lua "

ngx.req.set_uri_args('name=name001')

#echo $arg_name;

rewrite /test /t2;

}

location = /t2 {

echo $arg_sex;

echo $arg_name;

}

wangxi968

我用的openresty版本是1.2.3.8

agentzh

Hello!

2013/7/8 jie123108:
> 如下代码，我在 location /test 中设置了参数name为name001，在 /test中 输出 name参数可以提到name001.
> 当进行rewrite后，在 /t2中，再输出 name后，客户端显示为空。
> 看起来ngx.req.set_uri_args设置的参数只在当前location有效，跳转后就失效了。
> 有何解决办法？
>

这里并不是因为跳转后失效，而是因为 rewrite_by_lua 总是运行在 rewrite 指令之后，即使你把前者写在前面。所以当
rewrite 指令执行跳转时，你的 rewrite_by_lua 指令压根还没来得及运行。

有两种解法，推荐第 1 种：

1. 在 Lua 里面执行跳转，比如通过 ngx.req.set_uri 函数：

    http://wiki.nginx.org/HttpLuaModule#ngx.req.set_uri

利用这个 Lua 接口可以实现 rewrite 指令的所有功能。而且不用担心配置指令的运行顺序方面的问题。

2. 在 http {} 配置块中添加下面这条配置指令以禁用 rewrite_by_lua 指令推迟到 ngx_rewrite
模块的指令运行完之后再执行的行为：

    rewrite_by_lua_no_postpone on;

这样 rewrite_by_lua 指令便总是运行在 rewrite 指令之前。更多细节可以参见 ngx_lua 的官方文档：

    http://wiki.nginx.org/HttpLuaModule#rewrite_by_lua_no_postpone

Regards,
-agentzh

agentzh

Hello!

2013/7/8 王曦:
> 项目中需要向外部服务器发起请求，配置文件大致如下：
[...]
> 在代码中通过capture
> /bid来向外部服务器发起请求，因为是外部的服务器，查看日志看到经常有超时发生，运行一段时间后，使用netstat看到有大量的ESTABLISHED连接出现：
> tcp        0    0 10.78.96.27:26833           123.126.53.5:80
> ESTABLISHED
> 这些sockete既没有传输数据也没有被关闭，当线上流量大时，运行几个小时候会出现几万个这样的连接，关掉进程后，发现这些连接会处于FIN_WAIT1状态而非TIME_WAIT状态一段时间后才消失掉
>

这里的 netstat 输出里哪个是你运行 nginx 的“本机”？是 10.78.96.27 还是
123.126.53.5？你能区分一下这些连接是上游连接还是下游连接么？

可以尝试使用 Nginx Systemtap Toolkit 中的工具对你的问题 nginx worker 进程进行分析，特别是其中的
ngx-active-reqs 工具：

    https://github.com/agentzh/nginx-systemtap-toolkit#ngx-active-reqs

或许我们还应该再编写一个 ngx-conn-pools 工具对 nginx 自己的连接池进行实时监视。

另外，可以考虑升级到最新的 openresty 1.2.8.6:

    http://openresty.org/#Download

Best regards,
-agentzh

wangxi968

10.79.96.27是运行nginx的本机，这些ESTABLISHED状态的连接都是下游连接

我来试试用工具分析一下这个问题，或者升级openresty看能否解决这个问题，多谢春哥

agentzh

Hello!

2013/7/9 王曦:
> 10.79.96.27是运行nginx的本机，这些ESTABLISHED状态的连接都是下游连接
>
> 我来试试用工具分析一下这个问题，或者升级openresty看能否解决这个问题，多谢春哥
>

如果是下游连接，使用我之前提到的 ngx-active-reqs 工具可以很好地分析这些连接在 nginx 内部的当前状态。

另外，请确保你恰当地配置了 ngx_proxy 模块的各项超时设置。当启用 proxy_next_upstream
时，超时上限会被成倍放大。另外，启用 TCP keepalive 也可以较为可靠检测客户端连接提前断开的情形，避免出现 half-open
状态的连接（在你服务器端看这样的连接永远是 ESTABLISHED 状态）。

Best regards,
-agentzh