访问 ngx.var 导致内存使用增加

lilydjwg

您好，

我发现在 Lua 代码中反复访问 ngx.var 中的变量会导致进程的内存使用上升，直
到请求完毕才会释放。这限制了在请求完成后还在后台处理数据的应用。

附件中包含能够重现该问题的最小配置。使用
<openresty>/.../nginx -p ngx_lua_bug
启动一个 nginx 进程，然后访问 http://localhost:7890 ，注意观察 nginx 工
作进程内存使用的增加。

平台为 Arch Linux x86_64，openresty 1.2.1.9。

-- 
Best regards,
lilydjwg

Linux Vim Python 我的博客:
http://lilydjwg.is-programmer.com/
-- 
A: Because it obfuscates the reading.
Q: Why is top posting so bad?

Attachment: ngx_lua_bug.tar.gz
Description: Binary data

kindy61

的确会有这样的问题，

我曾经把 nginx 用到每 worker 超过3G。。。

后来排查就是因为大量读取 ngx.var.xxx 导致。

话说你读取的key是相同的嘛？

还是会每次不同？

2012/10/9 依云 <lil...@gmail.com>

您好，

我发现在 Lua 代码中反复访问 ngx.var 中的变量会导致进程的内存使用上升，直
到请求完毕才会释放。这限制了在请求完成后还在后台处理数据的应用。

附件中包含能够重现该问题的最小配置。使用
<openresty>/.../nginx -p ngx_lua_bug
启动一个 nginx 进程，然后访问 http://localhost:7890 ，注意观察 nginx 工
作进程内存使用的增加。

平台为 Arch Linux x86_64，openresty 1.2.1.9。

--
Best regards,
lilydjwg

Linux Vim Python 我的博客:
http://lilydjwg.is-programmer.com/
--
A: Because it obfuscates the reading.
Q: Why is top posting so bad?

--
- - - - - - - - - - - -
林青(Kindy Lin)

lilydjwg

相同的。

On Tue, Oct 09, 2012 at 06:33:53PM +0800, kindy wrote:
> 的确会有这样的问题，
> 我曾经把 nginx 用到每 worker 超过3G。。。
> 后来排查就是因为 大量读取 ngx.var.xxx 导致。
> 
> 话说你读取的key是相同的嘛？
> 还是会每次不同？
> 
> 2012/10/9 依云 <lil...@gmail.com>
> 
> > 您好，
> >
> > 我发现在 Lua 代码中反复访问 ngx.var 中的变量会导致进程的内存使用上升，直
> > 到请求完毕才会释放。这限制了在请求完成后还在后台处理数据的应用。
> >
> > 附件中包含能够重现该问题的最小配置。使用
> > <openresty>/.../nginx -p ngx_lua_bug
> > 启动一个 nginx 进程，然后访问 http://localhost:7890 ，注意观察 nginx 工
> > 作进程内存使用的增加。
> >
> > 平台为 Arch Linux x86_64，openresty 1.2.1.9。

-- 
Best regards,
lilydjwg

Linux Vim Python 我的博客:
http://lilydjwg.is-programmer.com/
-- 
A: Because it obfuscates the reading.
Q: Why is top posting so bad?

kindy61

如果是相同的，也许可以优化下。

2012/10/9 lilydjwg <lil...@gmail.com>

相同的。

On Tue, Oct 09, 2012 at 06:33:53PM +0800, kindy wrote:
> 的确会有这样的问题，
> 我曾经把 nginx 用到每 worker 超过3G。。。
> 后来排查就是因为大量读取 ngx.var.xxx 导致。
>
> 话说你读取的key是相同的嘛？
> 还是会每次不同？
>
> 2012/10/9 依云 <lil...@gmail.com>
>
> > 您好，
> >
> > 我发现在 Lua 代码中反复访问 ngx.var 中的变量会导致进程的内存使用上升，直
> > 到请求完毕才会释放。这限制了在请求完成后还在后台处理数据的应用。
> >
> > 附件中包含能够重现该问题的最小配置。使用
> > <openresty>/.../nginx -p ngx_lua_bug
> > 启动一个 nginx 进程，然后访问 http://localhost:7890 ，注意观察 nginx 工
> > 作进程内存使用的增加。
> >
> > 平台为 Arch Linux x86_64，openresty 1.2.1.9。

--
Best regards,
lilydjwg

Linux Vim Python 我的博客:
http://lilydjwg.is-programmer.com/
--
A: Because it obfuscates the reading.
Q: Why is top posting so bad?

--
- - - - - - - - - - - -
林青(Kindy Lin)

agentzh

Hello!

2012/10/9 依云:
> 我发现在 Lua 代码中反复访问 ngx.var 中的变量会导致进程的内存使用上升，直
> 到请求完毕才会释放。这限制了在请求完成后还在后台处理数据的应用。
>

ngx.var.VARIABLE 调用的是 nginx 的 C API 函数 ngx_http_get_variable 来读取 nginx
变量的，而这个 C API 几乎总是会在与请求绑定的 nginx 内存池中分配空间。而每请求的 nginx 内存池只会在请求结束时统一释放。

所以一个建议是，如果 ngx.var.VARIABLE 需要在 Lua 脚本中进行反复读取，请自己使用 Lua
变量进行缓冲，以避免请求生命期内的内存泄漏，例如：

    local foo = ngx.var.foo
    more_processing(foo)

而不要在（假想的）你的 more_processing() 函数中反复调用 ngx.var.foo.

这个处理原则也适用于其他的 Nginx Lua API.

Best regards,
-agentzh

lilydjwg

On Tue, Oct 09, 2012 at 03:47:07PM -0700, agentzh wrote:
> ngx.var.VARIABLE 调用的是 nginx 的 C API 函数 ngx_http_get_variable 来读取 nginx
> 变量的，而这个 C API 几乎总是会在与请求绑定的 nginx 内存池中分配空间。而每请求的 nginx 内存池只会在请求结束时统一释放。

这太坑爹了！如果没办法避免的话，考虑下在文档里警告下？

-- 
Best regards,
lilydjwg

Linux Vim Python 我的博客:
http://lilydjwg.is-programmer.com/
-- 
A: Because it obfuscates the reading.
Q: Why is top posting so bad?

lancelijade

顶！

Lance

2012/10/10 依云 <lil...@gmail.com>

On Tue, Oct 09, 2012 at 03:47:07PM -0700, agentzh wrote:
> ngx.var.VARIABLE 调用的是 nginx 的 C API 函数 ngx_http_get_variable 来读取 nginx
> 变量的，而这个 C API 几乎总是会在与请求绑定的 nginx 内存池中分配空间。而每请求的 nginx 内存池只会在请求结束时统一释放。

这太坑爹了！如果没办法避免的话，考虑下在文档里警告下？

--
Best regards,
lilydjwg

Linux Vim Python 我的博客:
http://lilydjwg.is-programmer.com/
--
A: Because it obfuscates the reading.
Q: Why is top posting so bad?

agentzh

Hello!

2012/10/9 依云 <lil...@gmail.com>:
> On Tue, Oct 09, 2012 at 03:47:07PM -0700, agentzh wrote:
>> ngx.var.VARIABLE 调用的是 nginx 的 C API 函数 ngx_http_get_variable 来读取 nginx
>> 变量的，而这个 C API 几乎总是会在与请求绑定的 nginx 内存池中分配空间。而每请求的 nginx 内存池只会在请求结束时统一释放。
>
> 这太坑爹了！如果没办法避免的话，考虑下在文档里警告下？
>

已更新文档：

    http://wiki.nginx.org/HttpLuaModule#ngx.var.VARIABLE

Regards,
-agentzh

smallfish.xy

赞！看来多用local还是有好处的：）
--

blog: http://chenxiaoyu.org

2012/10/10 agentzh <age...@gmail.com>

Hello!

2012/10/9 依云 <lil...@gmail.com>:

> On Tue, Oct 09, 2012 at 03:47:07PM -0700, agentzh wrote:
>> ngx.var.VARIABLE 调用的是 nginx 的 C API 函数 ngx_http_get_variable 来读取 nginx
>> 变量的，而这个 C API 几乎总是会在与请求绑定的 nginx 内存池中分配空间。而每请求的 nginx 内存池只会在请求结束时统一释放。
>
> 这太坑爹了！如果没办法避免的话，考虑下在文档里警告下？
>

已更新文档：

http://wiki.nginx.org/HttpLuaModule#ngx.var.VARIABLE

Regards,
-agentzh

lilydjwg

On Tue, Oct 09, 2012 at 08:17:49PM -0700, agentzh wrote:
> 已更新文档：
> 
>     http://wiki.nginx.org/HttpLuaModule#ngx.var.VARIABLE

赞！

不过好像 ngx.socket.tcp:connect 也有类似的问题？
或者，所有 ngx_lua API 都是只管分配内存不管释放的？

-- 
Best regards,
lilydjwg

Linux Vim Python 我的博客:
http://lilydjwg.is-programmer.com/
-- 
A: Because it obfuscates the reading.
Q: Why is top posting so bad?

agentzh

Hello!

2012/10/9 依云 <lil...@gmail.com>:
>
> 不过好像 ngx.socket.tcp:connect 也有类似的问题？
> 或者，所有 ngx_lua API 都是只管分配内存不管释放的？
>

Nginx （包括 ngx_lua）的一个假设是请求的生命期是相对短暂的，这是对大多数 HTTP
应用的一个合理假设，所以许多每请求的资源都是在每请求的内存池中分配的。这种设计主要是出于效率方面的考虑，避免 free
那些比较小的内存块，同时有助于减少内存碎片的发生。

在请求结束时再释放当前请求内存池中的所有内存。比如在一次请求生命期内连续调用 1000 次 tcpsocket:connect
的用法还是很罕见的 :) 不是所有 API 都在内存池中分配资源，比如 tcpsocket
的读写操作应该不会在每请求的内存池中分配资源（如果我是错的，请告诉我 :) ）。

Best regards,
-agentzh

chenliq

春哥好，对于你的回复里面，有些疑问：

这个 C API 几乎总是会在与请求绑定的 nginx 内存池中分配空间。而每请求的 nginx 内存池只会在请求结束时统一释放。

如果这样，由于请求都会很快结束（毫秒级），那内存应该是会不停释放，不会造成越来越高，到最高内存溢出的情况吧？

我现在的情况也是这样，ngx.var在函数或方法内反复读取。但是我的理解即使这个请求ngx.var.VARIABLE反复读取，每个请求多占用了无谓的内存，那当我的请求结束，也一样释放掉，我的系统内存应该在并发达到高峰的时候同时达到高峰，我们请求数降低（请求结束就释放了相应变量占用空间？）也应该会拿内存使用降低。可是我的应用情况发现内存一直增加，并没有降低。

如果ngx.var.VARIABLE读取占用的内存不会随着请求结束而释放内存，那避免反复读取是不是也只是延长达到内存溢出的时间点？

不过还是要感谢您的解答哦，帮了我很多忙。

在 2012年10月10日星期三 UTC+8上午6:47:07，agentzh写道：

Hello!
2012/10/9 依云:
> 我发现在 Lua 代码中反复访问 ngx.var 中的变量会导致进程的内存使用上升，直
> 到请求完毕才会释放。这限制了在请求完成后还在后台处理数据的应用。
>
ngx.var.VARIABLE 调用的是 nginx 的 C API 函数 ngx_http_get_variable 来读取 nginx
变量的，而这个 C API 几乎总是会在与请求绑定的 nginx 内存池中分配空间。而每请求的 nginx 内存池只会在请求结束时统一释放。
所以一个建议是，如果 ngx.var.VARIABLE 需要在 Lua 脚本中进行反复读取，请自己使用 Lua
变量进行缓冲，以避免请求生命期内的内存泄漏，例如：
local foo = ngx.var.foo
more_processing(foo)
而不要在（假想的）你的 more_processing() 函数中反复调用 ngx.var.foo.
这个处理原则也适用于其他的 Nginx Lua API.
Best regards,
-agentzh

agentzh

Hello!

2015-07-07 12:08 GMT+08:00 陈立强:
>
> 我现在的情况也是这样，ngx.var在函数或方法内反复读取。但是我的理解即使这个请求ngx.var.VARIABLE反复读取，每个请求多占用了无谓的内存，那当我的请求结束，也一样释放掉，我的系统内存应该在并发达到高峰的时候同时达到高峰，我们请求数降低（请求结束就释放了相应变量占用空间？）也应该会拿内存使用降低。可是我的应用情况发现内存一直增加，并没有降低。
>

两种可能性：

1. ngx.var 创建的 Lua 字符串未来得及释放而新的 ngx.var 产生的 Lua 字符串对象又创建出来。注意垃圾回收是有延时的。
2. 你的 Lua 代码中存在其他的内存泄漏点。

Regards,
-agentzh

382482175

你好，请问为啥使用local就解决了呢？

在 2012年10月9日星期二 UTC-7下午8:42:01，smallfish写道：

赞！看来多用local还是有好处的：）
--
blog: http://chenxiaoyu.org

2012/10/10 agentzh <age...@gmail.com>
Hello!

2012/10/9 依云 <lily...@gmail.com>:

> On Tue, Oct 09, 2012 at 03:47:07PM -0700, agentzh wrote:
>> ngx.var.VARIABLE 调用的是 nginx 的 C API 函数 ngx_http_get_variable 来读取 nginx
>> 变量的，而这个 C API 几乎总是会在与请求绑定的 nginx 内存池中分配空间。而每请求的 nginx 内存池只会在请求结束时统一释放。
>
> 这太坑爹了！如果没办法避免的话，考虑下在文档里警告下？
>

已更新文档：

http://wiki.nginx.org/HttpLuaModule#ngx.var.VARIABLE

Regards,
-agentzh

doujiang24

Hello,

在 2016年6月15日下午8:28，wwaz wwaz <3824...@qq.com>写道：

你好，请问为啥使用local就解决了呢？

这里的 "使用 local" 是指用 local 的 Lua 变量将 ngx.var.XXX 这个结果缓存起来

在 2012年10月9日星期二 UTC-7下午8:42:01，smallfish写道：
赞！看来多用local还是有好处的：）
--
blog: http://chenxiaoyu.org

2012/10/10 agentzh <age...@gmail.com>
Hello!

2012/10/9 依云 <lily...@gmail.com>:

> On Tue, Oct 09, 2012 at 03:47:07PM -0700, agentzh wrote:
>> ngx.var.VARIABLE 调用的是 nginx 的 C API 函数 ngx_http_get_variable 来读取 nginx
>> 变量的，而这个 C API 几乎总是会在与请求绑定的 nginx 内存池中分配空间。而每请求的 nginx 内存池只会在请求结束时统一释放。
>
> 这太坑爹了！如果没办法避免的话，考虑下在文档里警告下？
>

已更新文档：

http://wiki.nginx.org/HttpLuaModule#ngx.var.VARIABLE

Regards,
-agentzh

--