nginx http upstream 长连接疑问？

stonehuzhan

nginx 版本 1.4.1，配置如下

upstream abackend {

server 192.168.0.25;

server 192.168.0.25 backup;

keepalive 100;

}

location = /a {

proxy_set_header Connection "keep-alive";

proxy_pass http://abackend/a;

}

发现http://abackend/a 只要返回的不是 200 OK ，ngx 会主动关闭连接

这样就导致很多时候连接无法复用。

我用chrome 尝试， http 返回 500 406 等非200 的回应， chrome 并不马上关闭http连接。

agentzh

Hello!

2013/7/25 lua初学者:
>
> nginx 版本 1.4.1，配置如下
>
> upstream abackend {
>     server 192.168.0.25;
>     server 192.168.0.25 backup;
>     keepalive 100;
> }
>
> location = /a {
> proxy_set_header Connection "keep-alive";
> proxy_pass   http://abackend/a;
> }
>

这里的配置有些问题，即 location = /a 中应当有下面这两行：

        proxy_http_version 1.1;
        proxy_set_header Connection "";

见 nginx 官方的文档：

    http://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive

>
> 发现http://abackend/a  只要返回的不是 200 OK ，ngx 会主动关闭 连接
>
> 这样就导致很多时候连接无法复用。
>
> 我用chrome 尝试， http 返回 500  406 等非200 的回应， chrome 并不马上关闭http连接。
>

根据 nginx 1.4.1 的源码实现，nginx 只会对下列的 HTTP 错误码停用当前连接的 HTTP keepalive：

    400 Bad Request
    413 Request Entity Too Large
    414 Request URI Too Large
    497 HTTP to HTTPS
    495 HTTPS Cert Error
    496 HTTPS No Cert
    500 Internal Server Error
    501 Not Implemented

这么做的原因是显而易见的，即这些错误足够严重到 nginx 无法保证当前下游连接上的后续的 HTTP 请求可以正确无误的接收和解释。

而对于你提到的 406 错误码，nginx 1.4.1 并不会主动断开连接。请看下面的最小化的例子：

    location /t {
        content_by_lua '
            return ngx.exit(406)
        ';
    }

然后我们使用 telnet 来检查这个 /t 接口在 HTTP 1.1 keepalive 启用下的行为（假设我们的 nginx 监听的是 8080 端口）：

    $ telnet 127.0.0.1 8080
    Trying 127.0.0.1...
    Connected to 127.0.0.1.
    Escape character is '^]'.
    GET /t HTTP/1.1
    Host: localhost:8080

    HTTP/1.1 406 Not Acceptable
    Server: nginx/1.4.1
    Date: Thu, 25 Jul 2013 19:47:52 GMT
    Content-Type: text/html
    Content-Length: 188
    Connection: keep-alive

    <html>
    <head><title>406 Not Acceptable</title></head>
    <body bgcolor="white">
    <center><h1>406 Not Acceptable</h1></center>
    <hr><center>nginx/1.4.1 (no pool)</center>
    </body>
    </html>
    GET /t HTTP/1.1
    Host: localhost:8080

    HTTP/1.1 406 Not Acceptable
    Server: nginx/1.4.1
    Date: Thu, 25 Jul 2013 19:48:00 GMT
    Content-Type: text/html
    Content-Length: 188
    Connection: keep-alive

    <html>
    <head><title>406 Not Acceptable</title></head>
    <body bgcolor="white">
    <center><h1>406 Not Acceptable</h1></center>
    <hr><center>nginx/1.4.1 (no pool)</center>
    </body>
    </html>
    ^]q

    telnet> q
    Connection closed.

我们可以看到，nginx 在发送了第一个 406 响应之后并没有主动断开连接；我们可以继续在当前连接上发起第二个请求。同样，在第二个 406
 响应之后也没有主动断开连接，而是我们显式地通过 q 命令退出 telnet 之后，连接才由客户端关闭。

最后值得一提的是，当你说“nginx http upstream 长连接”的时候，请注明你讨论的究竟是上游连接（即 nginx
与后端服务器之间的连接），还是下游连接（即你的 http 客户端与 nginx
之间的连接）。这两种连接是很不同的。注明了可以避免很多不必要的误会。

Regards,
-agentzh

stonehuzhan

是上游连接

A 机器，IP 192.168.0.17

nginx.conf

upstream abackend {

server 192.168.0.25;

server 192.168.0.25 backup;

keepalive 100;

}

location = /test/a {

proxy_set_header Connection "";

proxy_http_version 1.1;

proxy_pass http://abackend/test/a;

}

B机器 IP 192.168.0.25

nginx.conf 配置

location =/test/a {

content_by_lua 'ngx.exit(406)';

}

curl -i "http://192.168.0.17/test/a"

A 与 B 不会保持长连接

如果B机器配置改为

location =/test/a {

content_by_lua 'ngx.exit(406)';

}

curl -i "http://192.168.0.17/test/a"

则A 与 B可以保持长连接

在 2013年7月26日星期五UTC+8上午3时54分21秒，agentzh写道：

Hello!

2013/7/25 lua初学者:
>
> nginx 版本 1.4.1，配置如下
>
> upstream abackend {
> server 192.168.0.25;
> server 192.168.0.25 backup;
> keepalive 100;
> }
>
> location = /a {
> proxy_set_header Connection "keep-alive";
> proxy_pass http://abackend/a;
> }
>

这里的配置有些问题，即 location = /a 中应当有下面这两行：

proxy_http_version 1.1;
proxy_set_header Connection "";

见 nginx 官方的文档：

http://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive

>
> 发现http://abackend/a 只要返回的不是 200 OK ，ngx 会主动关闭连接
>
> 这样就导致很多时候连接无法复用。
>
> 我用chrome 尝试， http 返回 500 406 等非200 的回应， chrome 并不马上关闭http连接。
>

根据 nginx 1.4.1 的源码实现，nginx 只会对下列的 HTTP 错误码停用当前连接的 HTTP keepalive：

400 Bad Request
413 Request Entity Too Large
414 Request URI Too Large
497 HTTP to HTTPS
495 HTTPS Cert Error
496 HTTPS No Cert
500 Internal Server Error
501 Not Implemented

这么做的原因是显而易见的，即这些错误足够严重到 nginx 无法保证当前下游连接上的后续的 HTTP 请求可以正确无误的接收和解释。

而对于你提到的 406 错误码，nginx 1.4.1 并不会主动断开连接。请看下面的最小化的例子：

location /t {
content_by_lua '
return ngx.exit(406)
';
}

然后我们使用 telnet 来检查这个 /t 接口在 HTTP 1.1 keepalive 启用下的行为（假设我们的 nginx 监听的是 8080 端口）：

$ telnet 127.0.0.1 8080
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
GET /t HTTP/1.1
Host: localhost:8080

HTTP/1.1 406 Not Acceptable
Server: nginx/1.4.1
Date: Thu, 25 Jul 2013 19:47:52 GMT
Content-Type: text/html
Content-Length: 188
Connection: keep-alive

<html>
<head><title>406 Not Acceptable</title></head>
<body bgcolor="white">
<center><h1>406 Not Acceptable</h1></center>
<hr><center>nginx/1.4.1 (no pool)</center>
</body>
</html>
GET /t HTTP/1.1
Host: localhost:8080

HTTP/1.1 406 Not Acceptable
Server: nginx/1.4.1
Date: Thu, 25 Jul 2013 19:48:00 GMT
Content-Type: text/html
Content-Length: 188
Connection: keep-alive

<html>
<head><title>406 Not Acceptable</title></head>
<body bgcolor="white">
<center><h1>406 Not Acceptable</h1></center>
<hr><center>nginx/1.4.1 (no pool)</center>
</body>
</html>
^]q

telnet> q
Connection closed.

我们可以看到，nginx 在发送了第一个 406 响应之后并没有主动断开连接；我们可以继续在当前连接上发起第二个请求。同样，在第二个 406
响应之后也没有主动断开连接，而是我们显式地通过 q 命令退出 telnet 之后，连接才由客户端关闭。

最后值得一提的是，当你说“nginx http upstream 长连接”的时候，请注明你讨论的究竟是上游连接（即 nginx
与后端服务器之间的连接），还是下游连接（即你的 http 客户端与 nginx
之间的连接）。这两种连接是很不同的。注明了可以避免很多不必要的误会。

Regards,
-agentzh

stonehuzhan

刚才写错了
content_by_lua 'ngx.exit(200)';

改成返回200

A 与 B就可以保持长连接。

在 2013年8月9日星期五UTC+8上午10时09分52秒，lua初学者写道：

是上游连接

A 机器，IP 192.168.0.17

nginx.conf
upstream abackend {
server 192.168.0.25;
server 192.168.0.25 backup;
keepalive 100;
}
location = /test/a {
proxy_set_header Connection "";
proxy_http_version 1.1;
proxy_pass http://abackend/test/a;
}

B机器 IP 192.168.0.25
nginx.conf 配置

location =/test/a {
content_by_lua 'ngx.exit(406)';
}

curl -i "http://192.168.0.17/test/a"

A 与 B 不会保持长连接

如果B机器配置改为
location =/test/a {
content_by_lua 'ngx.exit(406)';
}
curl -i "http://192.168.0.17/test/a"

则A 与 B可以保持长连接
在 2013年7月26日星期五UTC+8上午3时54分21秒，agentzh写道：
Hello!

2013/7/25 lua初学者:
>
> nginx 版本 1.4.1，配置如下
>
> upstream abackend {
> server 192.168.0.25;
> server 192.168.0.25 backup;
> keepalive 100;
> }
>
> location = /a {
> proxy_set_header Connection "keep-alive";
> proxy_pass http://abackend/a;
> }
>

这里的配置有些问题，即 location = /a 中应当有下面这两行：

proxy_http_version 1.1;
proxy_set_header Connection "";

见 nginx 官方的文档：

http://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive

>
> 发现http://abackend/a 只要返回的不是 200 OK ，ngx 会主动关闭连接
>
> 这样就导致很多时候连接无法复用。
>
> 我用chrome 尝试， http 返回 500 406 等非200 的回应， chrome 并不马上关闭http连接。
>

根据 nginx 1.4.1 的源码实现，nginx 只会对下列的 HTTP 错误码停用当前连接的 HTTP keepalive：

400 Bad Request
413 Request Entity Too Large
414 Request URI Too Large
497 HTTP to HTTPS
495 HTTPS Cert Error
496 HTTPS No Cert
500 Internal Server Error
501 Not Implemented

这么做的原因是显而易见的，即这些错误足够严重到 nginx 无法保证当前下游连接上的后续的 HTTP 请求可以正确无误的接收和解释。

而对于你提到的 406 错误码，nginx 1.4.1 并不会主动断开连接。请看下面的最小化的例子：

location /t {
content_by_lua '
return ngx.exit(406)
';
}

然后我们使用 telnet 来检查这个 /t 接口在 HTTP 1.1 keepalive 启用下的行为（假设我们的 nginx 监听的是 8080 端口）：

$ telnet 127.0.0.1 8080
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
GET /t HTTP/1.1
Host: localhost:8080

HTTP/1.1 406 Not Acceptable
Server: nginx/1.4.1
Date: Thu, 25 Jul 2013 19:47:52 GMT
Content-Type: text/html
Content-Length: 188
Connection: keep-alive

<html>
<head><title>406 Not Acceptable</title></head>
<body bgcolor="white">
<center><h1>406 Not Acceptable</h1></center>
<hr><center>nginx/1.4.1 (no pool)</center>
</body>
</html>
GET /t HTTP/1.1
Host: localhost:8080

HTTP/1.1 406 Not Acceptable
Server: nginx/1.4.1
Date: Thu, 25 Jul 2013 19:48:00 GMT
Content-Type: text/html
Content-Length: 188
Connection: keep-alive

<html>
<head><title>406 Not Acceptable</title></head>
<body bgcolor="white">
<center><h1>406 Not Acceptable</h1></center>
<hr><center>nginx/1.4.1 (no pool)</center>
</body>
</html>
^]q

telnet> q
Connection closed.

我们可以看到，nginx 在发送了第一个 406 响应之后并没有主动断开连接；我们可以继续在当前连接上发起第二个请求。同样，在第二个 406
响应之后也没有主动断开连接，而是我们显式地通过 q 命令退出 telnet 之后，连接才由客户端关闭。

最后值得一提的是，当你说“nginx http upstream 长连接”的时候，请注明你讨论的究竟是上游连接（即 nginx
与后端服务器之间的连接），还是下游连接（即你的 http 客户端与 nginx
之间的连接）。这两种连接是很不同的。注明了可以避免很多不必要的误会。

Regards,
-agentzh

agentzh

Hello!

2013/8/8 lua初学者:
> 是上游连接
> A 机器，IP 192.168.0.17
>
[...]
>
> B机器 IP 192.168.0.25
> nginx.conf 配置
>
> location =/test/a {
>                        content_by_lua 'ngx.exit(406)';
>                 }
>
>  curl -i "http://192.168.0.17/test/a";
>
> A 与 B 不会保持长连接
>

你具体是如何测试 A 与 B 之间是否存在长连接的？

我在我本地测试了你的配置。为简单起见，我让 nginx A 和 nginx B 都运行在同一台机器上，其中 A 监听 1985 端口， B
监听 80 端口。这两个 nginx server 的进程是这样的：

    $ ps aux|grep nginx
    root      2750  0.0  0.0  53232  1092 ?        Ss   23:35   0:00
nginx: master process ./sbin/nginx
    agentzh   2751  0.0  0.0  53560  2196 ?        S    23:35   0:00
nginx: worker process
    agentzh   3061  0.0  0.0  52808  1236 ?        Ss   23:37   0:00
nginx: master process nginx -c /foo/nginx.conf
    agentzh   3062  0.0  0.0  53144  1976 ?        S    23:37   0:00
nginx: worker process

其中 A 的 worker 进程 pid 注意是 3062，而 B 的 worker pid 则是 2751. 这两个数字我们后面还会遇到。

然后通过 curl 访问 A:

    curl -i localhost:1985/test/a
    HTTP/1.1 406 Not Acceptable
    Server: nginx/1.4.2
    Date: Fri, 09 Aug 2013 06:45:16 GMT
    Content-Type: text/html
    Content-Length: 188
    Connection: keep-alive

    <html>
    <head><title>406 Not Acceptable</title></head>
    <body bgcolor="white">
    <center><h1>406 Not Acceptable</h1></center>
    <hr><center>ngx_openresty/1.4.1.3</center>
    </body>
    </html>

然后我们立即使用 netstat 检查到 80 的连接状态：

    $ netstat -ntp|grep -E ':80\b'
    tcp        0      0 127.0.0.1:45733         127.0.0.1:80
 ESTABLISHED 3062/nginx: worker
    tcp        0      0 127.0.0.1:80            127.0.0.1:45733
 ESTABLISHED 2751/nginx: worker

我们看到，正好是 A 与 B 的 worker 进程之间保持着一个 ESTABLISHED 状态的 TCP 连接，即长连接确实生效了。

注意，由于在 B 的 nginx.conf 中我配置了

    keepalive_timeout 65;

所以过了 65 秒之后，B 会因此超时限制达到而自动关闭连接。下面是 65 秒之后的 netstat 检查结果：

    $ netstat -ntp|grep -E ':80\b'
    tcp        0      0 127.0.0.1:80            127.0.0.1:45733
 TIME_WAIT   -

Regards,
-agentzh