ngx.timer.at存在内存泄漏吗

mjay0929 · 2016-06-21T20:18:31+00:00

Hello! 2016-06-20 6:14 GMT-07:00 DeJiang Zhu: > 如果你确实需要更多的内存，&...

ngx.timer.at存在内存泄漏吗

mjay0929

请教下，这边有个场景用ngx.timer.at做大量的并发操作，发现nginx程序会一直上升。

下面这个nginx配置和lua可以简单模拟下:)

请问这里的内存增长正常吗，内存会在什么时候释放呢（发现nginx空闲时内存也没释放）？另外thread和timer有什么区别和不同的使用场景吗？感谢:)

附：

1.nginx配置如下：

lua_shared_dict run_task 1m;

lua_max_pending_timers 81290;

lua_max_running_timers 81290;

server {

listen 127.0.0.1:8080;

server_name localhost;

location /test_timer_at {

default_type 'text/plain';

lua_code_cache on;

content_by_lua_file conf/test_timer_at.lua;

}

2.lua文件如下：

local ngx = ngx

local timer_at = ngx.timer.at

local collectgarbage = collectgarbage

local function test_func(premature)

local run_task = ngx.shared.run_task

local val, err = run_task:get('task_num')

if not val then

run_task:set('task_num', 1)

else

run_task:incr('task_num', 1)

end

ngx.sleep(60)

ngx.log(ngx.ERR, "create a timer at")

run_task:incr('task_num', -1)

end

local function test_timer_at()

for i = 1, 10000 do

timer_at(0, test_func)

end

test_timer_at()

local run_task = ngx.shared.run_task

local val, err = run_task:get('task_num')

if val then

ngx.say("{\"result\":\"ok\", \"task_num\":"..tostring(val).."}")

else

ngx.say("{\"result\":\"no\", \"task_num\":\"0\"}")

end

collectgarbage('collect')

3.程序内存变化如下：ps aux |grep 'nginx: worker' |grep -v grep

2016-06-21 19:34:25 nobody 2446 2.0 1.3 67920 27980 ? S 19:34 0:00 nginx: worker process

2016-06-21 19:34:30 nobody 2446 0.3 1.3 67920 27980 ? S 19:34 0:00 nginx: worker process

2016-06-21 19:34:35 nobody 2446 0.1 1.3 67920 27980 ? S 19:34 0:00 nginx: worker process

2016-06-21 19:34:40 nobody 2446 0.1 1.3 67920 27980 ? S 19:34 0:00 nginx: worker process

2016-06-21 19:34:45 nobody 2446 9.7 5.0 141268 102272 ? R 19:34 0:02 nginx: worker process

2016-06-21 19:34:51 nobody 2446 27.2 5.0 141268 102272 ? R 19:34 0:07 nginx: worker process

2016-06-21 19:34:56 nobody 2446 39.0 5.0 141268 102272 ? R 19:34 0:12 nginx: worker process

2016-06-21 19:35:06 nobody 2446 54.1 5.0 141268 102272 ? R 19:34 0:22 nginx: worker process

2016-06-21 19:35:11 nobody 2446 59.3 5.8 157016 118644 ? R 19:34 0:27 nginx: worker process

2016-06-21 19:35:16 nobody 2446 61.0 12.5 295768 257292 ? S 19:34 0:31 nginx: worker process

2016-06-21 19:35:42 nobody 2446 72.3 12.5 295768 257292 ? R 19:34 0:55 nginx: worker process

2016-06-21 19:35:47 nobody 2446 74.0 12.5 295768 257292 ? S 19:34 1:00 nginx: worker process

2016-06-21 19:35:52 nobody 2446 69.7 12.5 295768 257292 ? S 19:34 1:00 nginx: worker process

2016-06-21 19:35:57 nobody 2446 65.9 12.5 295768 257292 ? S 19:34 1:00 nginx: worker process

2016-06-21 19:36:02 nobody 2446 62.5 12.5 295768 257292 ? S 19:34 1:00 nginx: worker process

2016-06-21 19:36:07 nobody 2446 59.0 12.5 295768 257292 ? R 19:34 1:00 nginx: worker process

2016-06-21 19:36:12 nobody 2446 59.2 12.1 287704 249144 ? R 19:34 1:04 nginx: worker process

2016-06-21 19:36:17 nobody 2446 61.1 12.5 294360 255744 ? R 19:34 1:09 nginx: worker process

2016-06-21 19:36:23 nobody 2446 62.7 12.9 304472 264988 ? R 19:34 1:14 nginx: worker process

2016-06-21 19:36:28 nobody 2446 64.3 12.9 304472 264988 ? R 19:34 1:19 nginx: worker process

2016-06-21 19:36:33 nobody 2446 65.8 12.9 304472 264988 ? R 19:34 1:24 nginx: worker process

2016-06-21 19:36:38 nobody 2446 67.2 12.9 304472 264988 ? R 19:34 1:29 nginx: worker process

2016-06-21 19:36:43 nobody 2446 65.2 12.9 304472 264988 ? S 19:34 1:30 nginx: worker process

2016-06-21 19:36:48 nobody 2446 63.0 12.9 304472 264988 ? S 19:34 1:30 nginx: worker process

2016-06-21 19:36:53 nobody 2446 62.3 12.9 304472 264988 ? R 19:34 1:32 nginx: worker process

2016-06-21 19:36:59 nobody 2446 63.4 12.9 304472 264988 ? R 19:34 1:37 nginx: worker process

2016-06-21 19:37:04 nobody 2446 64.6 12.9 304472 264988 ? R 19:34 1:42 nginx: worker process

2016-06-21 19:37:09 nobody 2446 65.6 12.9 304472 264988 ? R 19:34 1:47 nginx: worker process

2016-06-21 19:37:14 nobody 2446 66.2 12.4 292824 253480 ? R 19:34 1:52 nginx: worker process

2016-06-21 19:37:19 nobody 2446 67.3 13.9 324696 285328 ? R 19:34 1:57 nginx: worker process

4.当前openresty版本：1.9.15.1

5.机器环境：ubuntu 14.04.1，gcc 4.8.4

agentzh

Hello!

2016-06-21 5:18 GMT-07:00  mjay0929:
> hi
>     请教下，这边有个场景用ngx.timer.at做大量的并发操作，发现nginx程序会一直上升。
>     下面这个nginx配置和lua可以简单模拟下:)
>
> 请问这里的内存增长正常吗，内存会在什么时候释放呢（发现nginx空闲时内存也没释放）？另外thread和timer有什么区别和不同的使用场景吗？感谢:)
>

你这里的用法明显有问题。每次请求一次，都会创建 10000 个定时器，然后每个定时器都运行 60 秒这么久。如果你用 ab 或者 wrk
这样的压测工具去压，自然正在执行的定时器会迅速累积起来，不断地增加内存的占用。这不是完全可以预料的结果吗？

当你那些 timer 都结束运行之后，内存才有机会释放，但并不（一定）是 nginx 进程空闲的时候。LuaJIT 的 GC
回收内存有自己的标准和节奏（当然，这也是可以通过 collectgarbage 函数调整的）。

永远记住 ngx.timer.at()
是异步操作。耗时的异步操作要特别小心，因为很容易在客户端请求密集时出现异步处理的轻线程大量积压的情况。仔细想一想就很清楚了。

Regards,
-agentzh

oycwmail

前段时间我分析程序内存泄漏发现：

ngx.timer.at开启的后台协程中使用while循环，会让内存不断上涨，只有结束协程后内存才能被释放，这是一个使用上的坑，春哥能否在文档上标注一下。

在 2016年6月22日星期三 UTC+8下午12:35:28，agentzh写道：

Hello!

2016-06-21 5:18 GMT-07:00 mjay0929:
> hi
> 请教下，这边有个场景用ngx.timer.at做大量的并发操作，发现nginx程序会一直上升。
> 下面这个nginx配置和lua可以简单模拟下:)
>
> 请问这里的内存增长正常吗，内存会在什么时候释放呢（发现nginx空闲时内存也没释放）？另外thread和timer有什么区别和不同的使用场景吗？感谢:)
>

你这里的用法明显有问题。每次请求一次，都会创建 10000 个定时器，然后每个定时器都运行 60 秒这么久。如果你用 ab 或者 wrk
这样的压测工具去压，自然正在执行的定时器会迅速累积起来，不断地增加内存的占用。这不是完全可以预料的结果吗？

当你那些 timer 都结束运行之后，内存才有机会释放，但并不（一定）是 nginx 进程空闲的时候。LuaJIT 的 GC
回收内存有自己的标准和节奏（当然，这也是可以通过 collectgarbage 函数调整的）。

永远记住 ngx.timer.at()
是异步操作。耗时的异步操作要特别小心，因为很容易在客户端请求密集时出现异步处理的轻线程大量积压的情况。仔细想一想就很清楚了。

Regards,
-agentzh

agentzh

Hello!

2016-06-22 0:42 GMT-07:00 oysoft:
> 前段时间我分析程序内存泄漏发现：
> ngx.timer.at开启的后台协程中使用while循环，会让内存不断上涨，只有结束协程后内存才能被释放，这是一个使用上的坑，春哥能否在文档上标注一下。
>

这其实和 ngx.timer.at() 无关。主要有些 ngx. API
会在请求内存池里分配内存，而请求内存池的生命期与当前的处理程序（handler）相同。当你使用 lua-resty-core
库的时候，可以缓减这样的问题，因为 lua-resty-core 的 API 尽量避免了在请求内存池里分配。

当然，我们的目标是最终避免在和请求无关的 Lua API 里面在请求内存池里分配内存。

Regards,
-agentzh