nginx 499

shiziwen · 2013-10-31T00:08:57+00:00

Hello! 2013/10/30 <yws...@gmail.com>: > > 请教个问题，最近看nginx-lua的源&#x7...

nginx 499

shiziwen

Hi all，
请教一个问题，最近服务器访问一直抱499错误，前些时间是正常的，最近访问全是499错误。
用IP访问是正常的，但是访问域名却抱499.

499 XXX.com unix:/var/run/php5-fpm.sock - 0.000 122.143.3.126 - [30/Oct/2013:23:56:03 +0800] GET / HTT
P/1.1 0 0 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:25.0) Gecko/20100101 Firefox/25.0 FirePHP/0.7.4" "-" -

大家有没有遇到过相似问题？

agentzh

Hello!

2013/10/30 Wenhua Zhang:
> 请教一个问题，最近服务器访问一直抱499错误，前些时间是正常的，最近访问全是499错误。
> 用IP访问是正常的，但是访问域名却抱499.
>

499 错误码是客户端提前关闭了连接。

你可以使用一个很简单的 systemtap 脚本动态追踪线上 499 错误抛出的具体位置，从而确定原因。如果直接使用我的 stap++ 的话，只需一条命令：

    stap++ -x 2968 -e 'global c
           probe @pfunc(ngx_http_upstream_finalize_request) {
               if ($rc == 499) print_ubacktrace()
               if (++c == 5) exit() }
           probe begin { printf("Tracing %d ($^exec_path)\n", target()) }'

其中 2968 是某一个 nginx worker 进程的 pid. 这个工具会打印出 upstream 抛出 499 错误码时的 C
调用栈轨迹，从而可以帮助具体原因。

更多细节请参见 stap++ 项目：https://github.com/agentzh/stapxx

Regards,
-agentzh

shiziwen

多谢agentzh的指导。
目前问题基本找到了，和nginx没有关系。

试了好几个不同版本的nginx，最后在网上找到了一些线索：
http://badnotes.com/2013/09/25/nginx_499_code/

估计和阿里云服务器有关系，还需要进一步的确认。。。。

在 2013年10月31日上午2:44，Yichun Zhang (agentzh) <age...@gmail.com>写道：

Hello!

2013/10/30 Wenhua Zhang:

> 请教一个问题，最近服务器访问一直抱499错误，前些时间是正常的，最近访问全是499错误。
> 用IP访问是正常的，但是访问域名却抱499.
>

499 错误码是客户端提前关闭了连接。

你可以使用一个很简单的 systemtap 脚本动态追踪线上 499 错误抛出的具体位置，从而确定原因。如果直接使用我的 stap++ 的话，只需一条命令：

stap++ -x 2968 -e 'global c
probe @pfunc(ngx_http_upstream_finalize_request) {
if ($rc == 499) print_ubacktrace()
if (++c == 5) exit() }
probe begin { printf("Tracing %d ($^exec_path)\n", target()) }'

其中 2968 是某一个 nginx worker 进程的 pid. 这个工具会打印出 upstream 抛出 499 错误码时的 C
调用栈轨迹，从而可以帮助具体原因。

更多细节请参见 stap++ 项目：https://github.com/agentzh/stapxx

Regards,
-agentzh

--

doujiang24

不好意思，挖个坟，今天也在追踪 499 的问题，因为相关度挺高就在这里回帖了

stap++ 追踪结果如下，看了 ngx_http_upstream.c ，大致理解为：

在去连接上游 upstream 的时候，nginx 发现当前下游请求已经断开链接，发现客户端已经断开，然后就返回了 499

不知道这么理解是否准确，望大伙帮忙瞧瞧~~

error_log 里有：

2014/01/16 17:01:08 [info] 21384#0: *95442346 client prematurely closed connection, so upstream connection is closed too while connecting to upstream

./stap++ -x 20669 -e 'global c
           probe @pfunc(ngx_http_upstream_finalize_request) {
               if ($rc == 499) print_ubacktrace()
               if (++c == 5000) exit() }
           probe begin { printf("Tracing %d ($^exec_path)\n", target()) }'

Tracing 20669 (/opt/openresty/nginx/sbin/nginx)
0x453154 : ngx_http_upstream_finalize_request+0x0/0x29a [/opt/openresty/nginx/sbin/nginx]
0x453fca : ngx_http_upstream_check_broken_connection+0x1a3/0x201 [/opt/openresty/nginx/sbin/nginx]
0x45404f : ngx_http_upstream_rd_check_broken_connection+0x11/0x16 [/opt/openresty/nginx/sbin/nginx]
0x4427b3 : ngx_http_request_handler+0x29/0x33 [/opt/openresty/nginx/sbin/nginx]
0x433688 : ngx_epoll_process_events+0x1fb/0x2b5 [/opt/openresty/nginx/sbin/nginx]
0x42c6fb : ngx_process_events_and_timers+0xae/0x12f [/opt/openresty/nginx/sbin/nginx]
0x43233e : ngx_worker_process_cycle+0xd3/0x1b3 [/opt/openresty/nginx/sbin/nginx]
0x430c74 : ngx_spawn_process+0x43d/0x5c8 [/opt/openresty/nginx/sbin/nginx]
0x4318b5 : ngx_start_worker_processes+0x84/0xd6 [/opt/openresty/nginx/sbin/nginx]
0x432e8e : ngx_master_process_cycle+0x7c2/0x904 [/opt/openresty/nginx/sbin/nginx]
0x4183be : main+0xa13/0xa61 [/opt/openresty/nginx/sbin/nginx]
0x337fc1ecdd : __libc_start_main+0xfd/0x1d0 [/lib64/libc-2.12.so]
0x416bb9 : _start+0x29/0x2c [/opt/openresty/nginx/sbin/nginx]
c=0x1388

在 2013年11月3日下午3:20，Wenhua Zhang <shi...@gmail.com>写道：

多谢agentzh的指导。
目前问题基本找到了，和nginx没有关系。

试了好几个不同版本的nginx，最后在网上找到了一些线索：
http://badnotes.com/2013/09/25/nginx_499_code/

估计和阿里云服务器有关系，还需要进一步的确认。。。。

在 2013年10月31日上午2:44，Yichun Zhang (agentzh) <age...@gmail.com>写道：

Hello!

2013/10/30 Wenhua Zhang:

> 请教一个问题，最近服务器访问一直抱499错误，前些时间是正常的，最近访问全是499错误。
> 用IP访问是正常的，但是访问域名却抱499.
>

499 错误码是客户端提前关闭了连接。

你可以使用一个很简单的 systemtap 脚本动态追踪线上 499 错误抛出的具体位置，从而确定原因。如果直接使用我的 stap++ 的话，只需一条命令：

stap++ -x 2968 -e 'global c
probe @pfunc(ngx_http_upstream_finalize_request) {
if ($rc == 499) print_ubacktrace()
if (++c == 5) exit() }
probe begin { printf("Tracing %d ($^exec_path)\n", target()) }'

其中 2968 是某一个 nginx worker 进程的 pid. 这个工具会打印出 upstream 抛出 499 错误码时的 C
调用栈轨迹，从而可以帮助具体原因。

更多细节请参见 stap++ 项目：https://github.com/agentzh/stapxx

Regards,
-agentzh

--

--

agentzh

Hello!

2014/1/16 DeJiang Zhu:
> 不好意思，挖个坟，今天也在追踪 499 的问题，因为相关度挺高就在这里回帖了
>
> stap++ 追踪结果如下，看了 ngx_http_upstream.c ，大致理解为：
>
> 在去连接 上游 upstream 的时候，nginx 发现当前下游请求已经断开链接，发现客户端已经断开，然后就返回了 499
>

对。

-agentzh