关于openresty内存溢出的问题的分析

wgm.china · 2013-08-23T10:10:45+00:00

Hello! On Wed, Aug 21, 2013 at 6:19 PM, qq3056 wrote: [...] > access_log /data/logs/test.com.log main; > 你这&#x...

关于openresty内存溢出的问题的分析

wgm.china

大家好！

最近openresty开发的应用上线后，出现有内存溢出，直到报错：

nginx: lua atpanic: Lua VM crashed, reason: not enough memory

通过top -->res 和 while true; do pmap -d 13894 | tail -1;sleep 1;done　监控发现nginx的内存一直在上升，通过lsof |wc -l 查看，数值也越来越大。判断可能是内存溢出。

经过多方排查，发现当初为了方便调试lua的代码,把lua代码放在独立的文件中，在nginx中引用该lua文件，在nginx.conf中设置了lua_code_cache off，方便调试,果断注释，监控2小时，暂时正常了，请大家帮助分析一下，lua_code_cache off 是否会引起内存溢出，还是我用法有问题阿？

2013-08-23

wgm.china

agentzh

Hello!

2013/8/22 wgm.china:
> 经过多方排查，发现当初为了方便调试lua的代码,把lua代码放在独立的文件中，在nginx中引用该lua文件，在nginx.conf中设置了lua_code_cache
> off，方便调试,果断注释，监控2小时，暂时正常了，请大家帮助分析一下，lua_code_cache off 是否会引起内存溢出，还是我用法有问题阿？
>

生产上应绝对避免使用 lua_code_cache off. 如果你禁用 Lua 代码缓存的话，你在启动 nginx 时应当得到下面这条警告消息：

    [warn] lua_code_cache is off; this will hurt performance

看来我应该将之提高到 alert 级别？

在禁用 Lua 代码缓存时，会在每次请求时重新加载几乎所有用到的 Lua 模块，这会导致频繁地有新空间被分配，旧空间有待释放，从而很容易让
Lua 的增量式 GC 无法及时处理，造成“表观内存泄漏”。另外，你用到的某些 Lua
模块本身可能并不支持重新加载，强制重新加载时可能出现内存泄漏或者其他的问题。

最后引用一下 ngx_lua 官方文档中的相关说明：

“Disabling the Lua code cache is strongly discouraged for production
use and should only be used during development as it has a significant
negative impact on overall performance. In addition, race conditions
when reloading Lua modules are common for concurrent requests when the
code cache is disabled.”

更多细节可以参见原文：http://wiki.nginx.org/HttpLuaModule#lua_code_cache

Regards,
-agentzh

wgm.china

谢谢，春哥

2013-08-27

wgm.china

发件人："Yichun Zhang (agentzh)" <age...@gmail.com>

发送时间：2013-08-24 09:02

主题：Re: [openresty] 关于openresty内存溢出的问题的分析

收件人："openresty"<openresty@googlegroups.com>

抄送：

Hello!

2013/8/22 wgm.china:

> 经过多方排查，发现当初为了方便调试lua的代码,把lua代码放在独立的文件中，在nginx中引用该lua文件，在nginx.conf中设置了lua_code_cache

> off，方便调试,果断注释，监控2小时，暂时正常了，请大家帮助分析一下，lua_code_cache off 是否会引起内存溢出，还是我用法有问题阿？

生产上应绝对避免使用 lua_code_cache off. 如果你禁用 Lua 代码缓存的话，你在启动 nginx 时应当得到下面这条警告消息：

[warn] lua_code_cache is off; this will hurt performance

看来我应该将之提高到 alert 级别？

在禁用 Lua 代码缓存时，会在每次请求时重新加载几乎所有用到的 Lua 模块，这会导致频繁地有新空间被分配，旧空间有待释放，从而很容易让

Lua 的增量式 GC 无法及时处理，造成“表观内存泄漏”。另外，你用到的某些 Lua

模块本身可能并不支持重新加载，强制重新加载时可能出现内存泄漏或者其他的问题。

最后引用一下 ngx_lua 官方文档中的相关说明：

“Disabling the Lua code cache is strongly discouraged for production

use and should only be used during development as it has a significant

negative impact on overall performance. In addition, race conditions

when reloading Lua modules are common for concurrent requests when the

code cache is disabled.”

更多细节可以参见原文：http://wiki.nginx.org/HttpLuaModule#lua_code_cache

Regards,

-agentzh

邮件来自列表“openresty”,专用于技术讨论!

订阅: 请发空白邮件到 openresty+subscribe@googlegroups.com

发言: 请发邮件到 openresty@googlegroups.com

退订: 请发邮件至 openresty+unsubscribe@googlegroups.com

归档: http://groups.google.com/group/openresty

官网: http://openresty.org/

仓库: https://github.com/agentzh/ngx_openresty

教程: http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html

agentzh

Hello!

2013/8/23 Yichun Zhang (agentzh):
> 生产上应绝对避免使用 lua_code_cache off. 如果你禁用 Lua 代码缓存的话，你在启动 nginx 时应当得到下面这条警告消息：
>
>     [warn] lua_code_cache is off; this will hurt performance
>
> 看来我应该将之提高到 alert 级别？
>

刚刚我向 ngx_lua 的 master 分支提交了一个补丁，提高了这个 warn 信息的级别到 alert:

    https://github.com/chaoslawful/lua-nginx-module/commit/8e6c9a3

> 在禁用 Lua 代码缓存时，会在每次请求时重新加载几乎所有用到的 Lua 模块，这会导致频繁地有新空间被分配，旧空间有待释放，从而很容易让
> Lua 的增量式 GC 无法及时处理，造成“表观内存泄漏”。

刚刚也提交了一个补丁，在每次卸载 Lua 模块后强制执行一次完整的 Lua GC 周期：

    https://github.com/chaoslawful/lua-nginx-module/commit/04e53ee

这样可以修正这里的“表观内存泄漏”，但这也让 lua_code_cache off 模式更加缓慢，更不适合在生产上面使用了 :)

Regards,
-agentzh