[openresty] openresty内存泄漏问题

miaohonghit · 2014-05-06T17:15:00+00:00

刚下载 git master 最新的代码测试了下，ngx.ctx 在 header_filter_by_lua &#x...

[openresty] openresty内存泄漏问题

miaohonghit

业务模型

设置一块share_dict, 然后以64个缓冲区形式的key, key的值(args['data'])在高速刷新 , key的值大约4k左右。


    local buff_size = 64
    local index = args['index'] % buff_size    local succ, err, forcible = flv_channel:set(guid .. index, args['data'])
    if not succ then
        ngx.log(ngx.ERR, "Set flv_channel data failed!")
        ngx.log(ngx.ERR, err)
    end

配置:

lua_shared_dict flv_channel 64m;

系统跑一段时间后，报错 no memory

2014/05/07 00:51:23 [error] 10485#0: *2710 [lua] live2_flv_stream_post.lua:37: live_flv_stream_post(): Set flv_channel data failed!, client: 192.168.159.169, server: , request: "POST http://192.168.159.169:80/live/post/48bcc3a6a8104d15a089d16e46972209.flv HTTP/1.1", host: "192.168.159.169:80"
2014/05/07 00:51:23 [error] 10485#0: *2710 [lua] live2_flv_stream_post.lua:38: live_flv_stream_post(): no memory, client: 192.168.159.169, server: , request: "POST http://192.168.159.169:80/live/post/48bcc3a6a8104d15a089d16e46972209.flv HTTP/1.1", host: "192.168.159.169:80"

但是我查了下flv_channel的share_dict, 发现并没有写满。

localhost nginx-systemtap-toolkit # ./ngx-shm -p 10485 -n flv_channel -a '-DMAXACTION=100000'
Tracing 10485 (/usr/local/nginx/sbin/nginx)...

shm zone "flv_channel"
    owner: ngx_http_lua_shdict
    total size: 65536 KB
    free pages: 65136 KB (16284 pages, 10808 blocks)

1134 microseconds elapsed in the probe handler.

下面是GC信息


localhost nginx-systemtap-toolkit # stap++ -I ./stapxx/tapset -x 10485  ./stapxx/samples/lj-gc-objs.sxx
Start tracing 10485 (/usr/local/nginx/sbin/nginx)

GC total size: 113801 bytes
GC state: propagate

453 string objects: max=10965, avg=135, min=18, sum=61373 (in bytes)
326 function objects: max=144, avg=32, min=20, sum=10432 (in bytes)
78 table objects: max=3104, avg=257, min=32, sum=20056 (in bytes)
51 upvalue objects: max=24, avg=24, min=24, sum=1224 (in bytes)
16 userdata objects: max=124, avg=53, min=27, sum=858 (in bytes)
10 thread objects: max=832, avg=757, min=424, sum=7576 (in bytes)
9 proto objects: max=680, avg=236, min=92, sum=2127 (in bytes)
JIT state size: 864 bytes
global state tmpbuf size: 35 bytes

My GC walker detected for total 113801 bytes.
923 microseconds elapsed in the probe handler.

系统版本

openresty 1.4.3.3 ngx_lua-0.9.2


localhost nginx # ./sbin/nginx -V
nginx version: nginx/6.2
built by gcc 4.7.3 (Gentoo 4.7.3-r1 p1.4, pie-0.5.5)
TLS SNI support enabled
configure arguments: --prefix=/usr/local/nginx --with-cc-opt=-D_FILE_OFFSET_BITS=64 --add-module=../ngx_devel_kit-0.2.19 --add-module=../echo-nginx-module-0.49 --add-module=../xss-nginx-module-0.04 --add-module=../ngx_coolkit-0.2rc1 --add-module=../set-misc-nginx-module-0.22 --add-module=../form-input-nginx-module-0.07 --add-module=../encrypted-session-nginx-module-0.03 --add-module=../srcache-nginx-module-0.24 --add-module=../ngx_lua-0.9.2 --add-module=../headers-more-nginx-module-0.23 --add-module=../array-var-nginx-module-0.03rc1 --add-module=../memc-nginx-module-0.13 --add-module=../redis2-nginx-module-0.10 --add-module=../redis-nginx-module-0.3.6 --add-module=../auth-request-nginx-module-0.2 --add-module=../rds-json-nginx-module-0.12 --add-module=../rds-csv-nginx-module-0.05 --with-ld-opt='-Wl,-rpath,/usr/local/nginx/luajit/lib -ldl' --without-http_memcached_module --without-http_empty_gif_module --without-http_auth_basic_module --without-http_map_module --without-http_browser_module --without-mail_pop3_module --without-mail_imap_module --without-mail_smtp_module --http-proxy-temp-path=/tmp/ramdisk/proxy_temp --http-fastcgi-temp-path=/tmp/ramdisk/fastcgi_temp --http-uwsgi-temp-path=/tmp/ramdisk/uwsgi_temp --http-client-body-temp-path=/tmp/ramdisk/client_body_temp --http-scgi-temp-path=/tmp/ramdisk/scgi_temp --add-module=/mh/pplive_vms-ngx-1.4.3.3/bundle/nginx-1.4.3/src/http/modules/nginx_upstream_hash-0.3.1 --add-module=/mh/pplive_vms-ngx-1.4.3.3/bundle/nginx-rtmp-module --add-module=/mh/pplive_vms-ngx-1.4.3.3/bundle/ngx_log_if --with-http_synacast_mp4_plugin_module --with-http_synacast_mp4_noplugin_module --with-http_synacast_accesskey_module --with-http_synacast_upstream_hash_module --with-http_synacast_proxy_module --with-http_perl_module --with-http_ssl_module --with-http_sub_module --with-http_stub_status_module --with-http_xslt_module --with-ipv6

--

Best Regards,
Harold Miao

timebug.info

Hi, Hong Miao

这个似乎是 Nginx 核心中 slab 内存分配器目前已知的一个问题，当申请的内存大小超过 Page Size （一般是 4k）的时候，会导致内存碎片，你这里又是高速刷新的话，就会很快恶化，直到出现 no memory 的错误就分配不了了。

详细可参考 Nginx 邮件列表中关于此问题的详细讨论：https://www.mail-archive.com/nginx-devel@nginx.org/msg00661.html

我们之前在线上生产环境也遇到了类似的问题，上述帖子中有人给出了相关的 Patch，我已经将其整理到了我个人的 Gist 仓库，打上这个 Patch 之后，就再没遇到 no memory 的问题了。PS. 我们生产环境的共享内存字典 value 很多都超过 4k，但更新写入并不频繁，所以跑了一个礼拜才出现该问题，打上这个 Patch 后，已经正常运行大半年了 :-)

在 2014年5月6日星期二UTC+8下午5时14分39秒，Hong Miao写道：

业务模型

设置一块share_dict, 然后以64个缓冲区形式的key, key的值(args['data'])在高速刷新 , key的值大约4k左右。


    local buff_size = 64
    local index = args['index'] % buff_size    local succ, err, forcible = flv_channel:set(guid .. index, args['data'])
    if not succ then
        ngx.log(ngx.ERR, "Set flv_channel data failed!")
        ngx.log(ngx.ERR, err)
    end

配置:

lua_shared_dict flv_channel 64m;

系统跑一段时间后，报错 no memory

2014/05/07 00:51:23 [error] 10485#0: *2710 [lua] live2_flv_stream_post.lua:37: live_flv_stream_post(): Set flv_channel data failed!, client: 192.168.159.169, server: , request: "POST http://192.168.159.169:80/live/post/48bcc3a6a8104d15a089d16e46972209.flv HTTP/1.1", host: "192.168.159.169:80"
2014/05/07 00:51:23 [error] 10485#0: *2710 [lua] live2_flv_stream_post.lua:38: live_flv_stream_post(): no memory, client: 192.168.159.169, server: , request: "POST http://192.168.159.169:80/live/post/48bcc3a6a8104d15a089d16e46972209.flv HTTP/1.1", host: "192.168.159.169:80"

但是我查了下flv_channel的share_dict, 发现并没有写满。

localhost nginx-systemtap-toolkit # ./ngx-shm -p 10485 -n flv_channel -a '-DMAXACTION=100000'
Tracing 10485 (/usr/local/nginx/sbin/nginx)...

shm zone "flv_channel"
    owner: ngx_http_lua_shdict
    total size: 65536 KB
    free pages: 65136 KB (16284 pages, 10808 blocks)

1134 microseconds elapsed in the probe handler.

下面是GC信息

localhost nginx-systemtap-toolkit # stap++ -I ./stapxx/tapset -x 10485  ./stapxx/samples/lj-gc-objs.sxx
Start tracing 10485 (/usr/local/nginx/sbin/nginx)

GC total size: 113801 bytes
GC state: propagate

453 string objects: max=10965, avg=135, min=18, sum=61373 (in bytes)
326 function objects: max=144, avg=32, min=20, sum=10432 (in bytes)
78 table objects: max=3104, avg=257, min=32, sum=20056 (in bytes)
51 upvalue objects: max=24, avg=24, min=24, sum=1224 (in bytes)
16 userdata objects: max=124, avg=53, min=27, sum=858 (in bytes)
10 thread objects: max=832, avg=757, min=424, sum=7576 (in bytes)
9 proto objects: max=680, avg=236, min=92, sum=2127 (in bytes)
JIT state size: 864 bytes
global state tmpbuf size: 35 bytes

My GC walker detected for total 113801 bytes.
923 microseconds elapsed in the probe handler.

系统版本

openresty 1.4.3.3 ngx_lua-0.9.2

localhost nginx # ./sbin/nginx -V
nginx version: nginx/6.2
built by gcc 4.7.3 (Gentoo 4.7.3-r1 p1.4, pie-0.5.5)
TLS SNI support enabled
configure arguments: --prefix=/usr/local/nginx --with-cc-opt=-D_FILE_OFFSET_BITS=64 --add-module=../ngx_devel_kit-0.2.19 --add-module=../echo-nginx-module-0.49 --add-module=../xss-nginx-module-0.04 --add-module=../ngx_coolkit-0.2rc1 --add-module=../set-misc-nginx-module-0.22 --add-module=../form-input-nginx-module-0.07 --add-module=../encrypted-session-nginx-module-0.03 --add-module=../srcache-nginx-module-0.24 --add-module=../ngx_lua-0.9.2 --add-module=../headers-more-nginx-module-0.23 --add-module=../array-var-nginx-module-0.03rc1 --add-module=../memc-nginx-module-0.13 --add-module=../redis2-nginx-module-0.10 --add-module=../redis-nginx-module-0.3.6 --add-module=../auth-request-nginx-module-0.2 --add-module=../rds-json-nginx-module-0.12 --add-module=../rds-csv-nginx-module-0.05 --with-ld-opt='-Wl,-rpath,/usr/local/nginx/luajit/lib -ldl' --without-http_memcached_module --without-http_empty_gif_module --without-http_auth_basic_module --without-http_map_module --without-http_browser_module --without-mail_pop3_module --without-mail_imap_module --without-mail_smtp_module --http-proxy-temp-path=/tmp/ramdisk/proxy_temp --http-fastcgi-temp-path=/tmp/ramdisk/fastcgi_temp --http-uwsgi-temp-path=/tmp/ramdisk/uwsgi_temp --http-client-body-temp-path=/tmp/ramdisk/client_body_temp --http-scgi-temp-path=/tmp/ramdisk/scgi_temp --add-module=/mh/pplive_vms-ngx-1.4.3.3/bundle/nginx-1.4.3/src/http/modules/nginx_upstream_hash-0.3.1 --add-module=/mh/pplive_vms-ngx-1.4.3.3/bundle/nginx-rtmp-module --add-module=/mh/pplive_vms-ngx-1.4.3.3/bundle/ngx_log_if --with-http_synacast_mp4_plugin_module --with-http_synacast_mp4_noplugin_module --with-http_synacast_accesskey_module --with-http_synacast_upstream_hash_module --with-http_synacast_proxy_module --with-http_perl_module --with-http_ssl_module --with-http_sub_module --with-http_stub_status_module --with-http_xslt_module --with-ipv6

--

Best Regards,
Harold Miao

agentzh

Hello!

On Tue, May 6, 2014 at 2:14 AM, Harold.Miao wrote:
> 设置一块share_dict, 然后以64个缓冲区形式的key, key的值(args['data'])在高速刷新 , key的值大约4k左右。
>

ngx_lua 模块的 shared dict API 使用的是 NGINX 核心中的 slab allocator 来管理内存的，而这个
slab allocator 对于大于页大小（4k）的块存在较严重的内存碎片问题。

建议给你的 nginx 核心打上下面这个补丁：

https://raw.githubusercontent.com/openresty/ngx_openresty/master/patches/nginx-1.7.0-slab_defrag.patch

该补丁（或其变种）将会直接包含在下一个 openresty 发布中。

针对此问题我准备了一系列测试用例：https://github.com/openresty/lua-nginx-module/blob/master/t/126-shdict-frag.t#L22
在 nginx 带有上面的补丁时，这些用例现在都通过了。

注意，Monkey Zhang 给出的那个 nginx-devel 邮件列表讨论里由 Wandenberg Peixoto
给出的补丁在一些极端情况下会有一些问题，比如潜在的深递归调用导致 C
栈溢出，以及在分配失败时较为集中的块合并操作可能会导致程序暂停较长时间，所以并不推荐。

我的补丁在每次释放 pages
时对前后位置上的空闲块都立即进行合并（如果有的话），所以合并开销可以均匀地散布开来。当然我的补丁有一个缺点是元信息的空间会略大一点（对于超过半页大小的块在
64 位系统上会多 8 个字节的元数据，而对于小于半页大小的块则每一页会多使用 8 个字节）。

Regards,
-agentzh

miaohonghit

thx , 目前不报错误了。

但是有个问题是，只有当当前碎片化严重的时候才会去merge_pages, 这样内存还是会跑在高位。能否定时去merge? 或者到一个阙值就merge?

2014-05-07 0:50 GMT+08:00 Monkey Zhang <timeb...@gmail.com>:

Hi, Hong Miao

详细可参考 Nginx 邮件列表中关于此问题的详细讨论：https://www.mail-archive.com/nginx-devel@nginx.org/msg00661.html

在 2014年5月6日星期二UTC+8下午5时14分39秒，Hong Miao写道：

业务模型

设置一块share_dict, 然后以64个缓冲区形式的key, key的值(args['data'])在高速刷新 , key的值大约4k左右。


    local buff_size = 64
    local index = args['index'] % buff_size    local succ, err, forcible = flv_channel:set(guid .. index, args['data'])
    if not succ then
        ngx.log(ngx.ERR, "Set flv_channel data failed!")
        ngx.log(ngx.ERR, err)
    end

配置:

lua_shared_dict flv_channel 64m;

系统跑一段时间后，报错 no memory

2014/05/07 00:51:23 [error] 10485#0: *2710 [lua] live2_flv_stream_post.lua:37: live_flv_stream_post(): Set flv_channel data failed!, client: 192.168.159.169, server: , request: "POST http://192.168.159.169:80/live/post/48bcc3a6a8104d15a089d16e46972209.flv HTTP/1.1", host: "192.168.159.169:80"
2014/05/07 00:51:23 [error] 10485#0: *2710 [lua] live2_flv_stream_post.lua:38: live_flv_stream_post(): no memory, client: 192.168.159.169, server: , request: "POST http://192.168.159.169:80/live/post/48bcc3a6a8104d15a089d16e46972209.flv HTTP/1.1", host: "192.168.159.169:80"

但是我查了下flv_channel的share_dict, 发现并没有写满。

localhost nginx-systemtap-toolkit # ./ngx-shm -p 10485 -n flv_channel -a '-DMAXACTION=100000'
Tracing 10485 (/usr/local/nginx/sbin/nginx)...

shm zone "flv_channel"
    owner: ngx_http_lua_shdict
    total size: 65536 KB
    free pages: 65136 KB (16284 pages, 10808 blocks)

1134 microseconds elapsed in the probe handler.

下面是GC信息

localhost nginx-systemtap-toolkit # stap++ -I ./stapxx/tapset -x 10485  ./stapxx/samples/lj-gc-objs.sxx
Start tracing 10485 (/usr/local/nginx/sbin/nginx)

GC total size: 113801 bytes
GC state: propagate

453 string objects: max=10965, avg=135, min=18, sum=61373 (in bytes)
326 function objects: max=144, avg=32, min=20, sum=10432 (in bytes)
78 table objects: max=3104, avg=257, min=32, sum=20056 (in bytes)
51 upvalue objects: max=24, avg=24, min=24, sum=1224 (in bytes)
16 userdata objects: max=124, avg=53, min=27, sum=858 (in bytes)
10 thread objects: max=832, avg=757, min=424, sum=7576 (in bytes)
9 proto objects: max=680, avg=236, min=92, sum=2127 (in bytes)
JIT state size: 864 bytes
global state tmpbuf size: 35 bytes

My GC walker detected for total 113801 bytes.
923 microseconds elapsed in the probe handler.

系统版本

openresty 1.4.3.3 ngx_lua-0.9.2


localhost nginx # ./sbin/nginx -V
nginx version: nginx/6.2
built by gcc 4.7.3 (Gentoo 4.7.3-r1 p1.4, pie-0.5.5)
TLS SNI support enabled
configure arguments: --prefix=/usr/local/nginx --with-cc-opt=-D_FILE_OFFSET_BITS=64 --add-module=../ngx_devel_kit-0.2.19 --add-module=../echo-nginx-module-0.49 --add-module=../xss-nginx-module-0.04 --add-module=../ngx_coolkit-0.2rc1 --add-module=../set-misc-nginx-module-0.22 --add-module=../form-input-nginx-module-0.07 --add-module=../encrypted-session-nginx-module-0.03 --add-module=../srcache-nginx-module-0.24 --add-module=../ngx_lua-0.9.2 --add-module=../headers-more-nginx-module-0.23 --add-module=../array-var-nginx-module-0.03rc1 --add-module=../memc-nginx-module-0.13 --add-module=../redis2-nginx-module-0.10 --add-module=../redis-nginx-module-0.3.6 --add-module=../auth-request-nginx-module-0.2 --add-module=../rds-json-nginx-module-0.12 --add-module=../rds-csv-nginx-module-0.05 --with-ld-opt='-Wl,-rpath,/usr/local/nginx/luajit/lib -ldl' --without-http_memcached_module --without-http_empty_gif_module --without-http_auth_basic_module --without-http_map_module --without-http_browser_module --without-mail_pop3_module --without-mail_imap_module --without-mail_smtp_module --http-proxy-temp-path=/tmp/ramdisk/proxy_temp --http-fastcgi-temp-path=/tmp/ramdisk/fastcgi_temp --http-uwsgi-temp-path=/tmp/ramdisk/uwsgi_temp --http-client-body-temp-path=/tmp/ramdisk/client_body_temp --http-scgi-temp-path=/tmp/ramdisk/scgi_temp --add-module=/mh/pplive_vms-ngx-1.4.3.3/bundle/nginx-1.4.3/src/http/modules/nginx_upstream_hash-0.3.1 --add-module=/mh/pplive_vms-ngx-1.4.3.3/bundle/nginx-rtmp-module --add-module=/mh/pplive_vms-ngx-1.4.3.3/bundle/ngx_log_if --with-http_synacast_mp4_plugin_module --with-http_synacast_mp4_noplugin_module --with-http_synacast_accesskey_module --with-http_synacast_upstream_hash_module --with-http_synacast_proxy_module --with-http_perl_module --with-http_ssl_module --with-http_sub_module --with-http_stub_status_module --with-http_xslt_module --with-ipv6

--

Best Regards,
Harold Miao

miaohonghit

春哥的补丁我打了一下， worker的cpu会跑在接近100% ，奇怪。

可能是我哪方面有问题，我再详细测试一下，回头在报告

感谢春哥！

在 2014年5月7日上午6:11，Yichun Zhang (agentzh) <age...@gmail.com>写道：

Hello!

On Tue, May 6, 2014 at 2:14 AM, Harold.Miao wrote:
> 设置一块share_dict, 然后以64个缓冲区形式的key, key的值(args['data'])在高速刷新 , key的值大约4k左右。
>

ngx_lua 模块的 shared dict API 使用的是 NGINX 核心中的 slab allocator 来管理内存的，而这个
slab allocator 对于大于页大小（4k）的块存在较严重的内存碎片问题。

建议给你的 nginx 核心打上下面这个补丁：

https://raw.githubusercontent.com/openresty/ngx_openresty/master/patches/nginx-1.7.0-slab_defrag.patch

该补丁（或其变种）将会直接包含在下一个 openresty 发布中。

针对此问题我准备了一系列测试用例：https://github.com/openresty/lua-nginx-module/blob/master/t/126-shdict-frag.t#L22
在 nginx 带有上面的补丁时，这些用例现在都通过了。

注意，Monkey Zhang 给出的那个 nginx-devel 邮件列表讨论里由 Wandenberg Peixoto
给出的补丁在一些极端情况下会有一些问题，比如潜在的深递归调用导致 C
栈溢出，以及在分配失败时较为集中的块合并操作可能会导致程序暂停较长时间，所以并不推荐。

我的补丁在每次释放 pages
时对前后位置上的空闲块都立即进行合并（如果有的话），所以合并开销可以均匀地散布开来。当然我的补丁有一个缺点是元信息的空间会略大一点（对于超过半页大小的块在
64 位系统上会多 8 个字节的元数据，而对于小于半页大小的块则每一页会多使用 8 个字节）。

Regards,
-agentzh

--

--

Best Regards,
Harold Miao

agentzh

Hello!

2014-05-07 2:01 GMT-07:00 Harold.Miao:
> 春哥的补丁我打了一下， worker的cpu会跑在接近100%   ，奇怪。
>
> 可能是我哪方面有问题，我再详细测试一下， 回头在报告
>

不好意思，我刚刚修复了我的补丁里的一处 bug，可能会导致内存越界访问。请从下面的位置重新下载最新的补丁重新尝试：

    https://raw.githubusercontent.com/openresty/ngx_openresty/master/patches/nginx-1.7.0-slab_defrag.patch

感谢杨书鑫捕捉到了这个问题并提供了修复建议。

另外，值得一提的是，当 CPU 很高时，最好使用 sample-bt 工具绘出 C 级别的火焰图供分析：

    https://github.com/openresty/nginx-systemtap-toolkit#sample-bt

Best regards,
-agentzh

agentzh

Hello!

2014-05-07 13:14 GMT-07:00 Yichun Zhang (agentzh):
> 不好意思，我刚刚修复了我的补丁里的一处 bug，可能会导致内存越界访问。请从下面的位置重新下载最新的补丁重新尝试：
>
>     https://raw.githubusercontent.com/openresty/ngx_openresty/master/patches/nginx-1.7.0-slab_defrag.patch
>

不好意思，我今天又修了这个补丁里的一个 bug. 新补丁还在同一个 URL 地址。再次感谢杨书鑫。

Regards,
-agentzh

miaohonghit

test good ! 感谢春哥!

Yichun Zhang (agentzh) <age...@gmail.com>于2014年5月10日星期六写道：

Hello!

2014-05-07 13:14 GMT-07:00 Yichun Zhang (agentzh):
> 不好意思，我刚刚修复了我的补丁里的一处 bug，可能会导致内存越界访问。请从下面的位置重新下载最新的补丁重新尝试：
>
> https://raw.githubusercontent.com/openresty/ngx_openresty/master/patches/nginx-1.7.0-slab_defrag.patch
>

不好意思，我今天又修了这个补丁里的一个 bug. 新补丁还在同一个 URL 地址。再次感谢杨书鑫。

Regards,
-agentzh

--

--

Best Regards,
Harold Miao