Nginx+Lua开发的接口程序在生产环境的内存占用量持续上升是什么情况？

chenliq · 2015-07-07T17:19:58+00:00

>_<用的就是printOn Tuesday, July 7, 2015 at 6:14:04 PM UTC+8, YuanSheng Wang wrote:怀疑楼主是ngx....

Nginx+Lua开发的接口程序在生产环境的内存占用量持续上升是什么情况？

chenliq

相关的代码在附件中，compatible.lua是入口文件。

从上午开始一直查看群组的内存溢出之类的问题，也google了，主要好像就是下面几点：

ngx.var.variable的问题
luajit的问题
全局变量的问题

我检查了我的代码，已经修改了第一个问题，2和3的问题好像不存在。想请教熟悉这方面的高手帮我review一下代码，可能是什么情况。代码大概几百行，其中database.lua和utils.lua是群组里面某个大神贡献的代码，直接拿来用了

Attachment: lua.zip
Description: Zip archive

agentzh

Hello!

2015-07-07 17:19 GMT+08:00 陈立强:
> 相关的代码在附件中，compatible.lua是入口文件。
> 从上午开始一直查看群组的内存溢出之类的问题，也google了，主要好像就是下面几点：
> ngx.var.variable的问题
> luajit的问题
> 全局变量的问题
> 我检查了我的代码，已经修改了第一个问题，2和3的问题好像不存在。想请教熟悉这方面的高手帮我review一下代码，可能是什么情况。代码大概几百行，其中database.lua和utils.lua是群组里面某个大神贡献的代码，直接拿来用了
>

试着用这个工具直接分析一下你的已发生很多泄漏的 nginx worker 进程：

https://github.com/openresty/stapxx#lj-gc-objs

Regards,
-agentzh

chenliq

./samples/lj-gc-objs.sxx -x 9823
Found exact match for libluajit: /usr/local/openresty/luajit/lib/libluajit-5.1.so.2.1.0
WARNING: missing unwind/symbol data for module 'kernel'
user-space process-tracking facilities not available [man error::process-tracking]
Pass 4: compilation failed. [man error::pass4]

出现这个错误是什么意思？

在 2015年7月7日星期二 UTC+8下午9:03:10，agentzh写道：

Hello!

2015-07-07 17:19 GMT+08:00 陈立强:
> 相关的代码在附件中，compatible.lua是入口文件。
> 从上午开始一直查看群组的内存溢出之类的问题，也google了，主要好像就是下面几点：
> ngx.var.variable的问题
> luajit的问题
> 全局变量的问题
> 我检查了我的代码，已经修改了第一个问题，2和3的问题好像不存在。想请教熟悉这方面的高手帮我review一下代码，可能是什么情况。代码大概几百行，其中database.lua和utils.lua是群组里面某个大神贡献的代码，直接拿来用了
>

试着用这个工具直接分析一下你的已发生很多泄漏的 nginx worker 进程：

https://github.com/openresty/stapxx#lj-gc-objs

Regards,
-agentzh

chenliq

我的debian内核是3.2版是不是这个原因？好像这个工具依赖于systemtap，然后也会依赖于3.5的内核？

在 2015年7月8日星期三 UTC+8上午10:38:09，陈立强写道：

./samples/lj-gc-objs.sxx -x 9823
Found exact match for libluajit: /usr/local/openresty/luajit/lib/libluajit-5.1.so.2.1.0
WARNING: missing unwind/symbol data for module 'kernel'
user-space process-tracking facilities not available [man error::process-tracking]
Pass 4: compilation failed. [man error::pass4]

出现这个错误是什么意思？

在 2015年7月7日星期二 UTC+8下午9:03:10，agentzh写道：
Hello!

2015-07-07 17:19 GMT+08:00 陈立强:
> 相关的代码在附件中，compatible.lua是入口文件。
> 从上午开始一直查看群组的内存溢出之类的问题，也google了，主要好像就是下面几点：
> ngx.var.variable的问题
> luajit的问题
> 全局变量的问题
> 我检查了我的代码，已经修改了第一个问题，2和3的问题好像不存在。想请教熟悉这方面的高手帮我review一下代码，可能是什么情况。代码大概几百行，其中database.lua和utils.lua是群组里面某个大神贡献的代码，直接拿来用了
>

试着用这个工具直接分析一下你的已发生很多泄漏的 nginx worker 进程：

https://github.com/openresty/stapxx#lj-gc-objs

Regards,
-agentzh

chenliq

./samples/lj-gc-objs.sxx -x 5567

Nginx process 5567 is not running or you do not have enough permissions

这个进程是存在的，我用root账号，怎么会提示没有权限？

在 2015年7月7日星期二 UTC+8下午5:19:58，陈立强写道：

相关的代码在附件中，compatible.lua是入口文件。
从上午开始一直查看群组的内存溢出之类的问题，也google了，主要好像就是下面几点：
ngx.var.variable的问题
luajit的问题
全局变量的问题
我检查了我的代码，已经修改了第一个问题，2和3的问题好像不存在。想请教熟悉这方面的高手帮我review一下代码，可能是什么情况。代码大概几百行，其中database.lua和utils.lua是群组里面某个大神贡献的代码，直接拿来用了

agentzh

Hello!

2015-07-08 10:38 GMT+08:00 陈立强:
>> ./samples/lj-gc-objs.sxx -x 9823
>> Found exact match for libluajit:
>> /usr/local/openresty/luajit/lib/libluajit-5.1.so.2.1.0
>> WARNING: missing unwind/symbol data for module 'kernel'
[...]
>
> 出现这个错误是什么意思？
>

这个错误是指你的系统缺少调试符号。见

https://www.sourceware.org/systemtap/SystemTap_Beginners_Guide/using-systemtap.html#install-kinfo

> 我的debian内核是3.2版是不是这个原因？好像这个工具依赖于systemtap，然后也会依赖于3.5的内核？

debian 的 3.2 的内核缺少 uprobes 和 utrace 支持，而我给出的用户态追踪工具依赖于此。见

    https://github.com/openresty/stapxx#installation

当然了，如果不方便运行 systemtap 也可以使用下面这两个 gdb 工具：

    https://github.com/openresty/nginx-gdb-utils#lgcstat

    https://github.com/openresty/nginx-gdb-utils#lgcpath

>
> Nginx process 5567 is not running or you do not have enough permissions
> 这个进程是存在的，我用root账号，怎么会提示没有权限？

你 100% 确定你的进程 5567 仍是 RUNNING 状态，而且同时你是用 root 帐户运行这个 lj-gc-objs.sxx 工具本身的？

Regards,
-agentzh

chenliq

source luajit21.py

输入这个命令会出错，这个gdb工具是怎么用呀？

你 100% 确定你的进程 5567 仍是 RUNNING 状态，而且同时你是用 root 帐户运行这个 lj-gc-objs.sxx 工具本身的？

ps -ef 这个worker进程一直都在，确定是root账户，不过环境是docker容器，会不会是容器没有权限？

在 2015年7月8日星期三 UTC+8上午11:34:23，agentzh写道：

Hello!

2015-07-08 10:38 GMT+08:00 陈立强:
>> ./samples/lj-gc-objs.sxx -x 9823
>> Found exact match for libluajit:
>> /usr/local/openresty/luajit/lib/libluajit-5.1.so.2.1.0
>> WARNING: missing unwind/symbol data for module 'kernel'
[...]
>
> 出现这个错误是什么意思？
>

这个错误是指你的系统缺少调试符号。见

https://www.sourceware.org/systemtap/SystemTap_Beginners_Guide/using-systemtap.html#install-kinfo

> 我的debian内核是3.2版是不是这个原因？好像这个工具依赖于systemtap，然后也会依赖于3.5的内核？

debian 的 3.2 的内核缺少 uprobes 和 utrace 支持，而我给出的用户态追踪工具依赖于此。见

https://github.com/openresty/stapxx#installation

当然了，如果不方便运行 systemtap 也可以使用下面这两个 gdb 工具：

https://github.com/openresty/nginx-gdb-utils#lgcstat

https://github.com/openresty/nginx-gdb-utils#lgcpath

>
> Nginx process 5567 is not running or you do not have enough permissions
> 这个进程是存在的，我用root账号，怎么会提示没有权限？

你 100% 确定你的进程 5567 仍是 RUNNING 状态，而且同时你是用 root 帐户运行这个 lj-gc-objs.sxx 工具本身的？

Regards,
-agentzh

agentzh

Hello!

2015-07-08 14:08 GMT+08:00 陈立强:
> source luajit21.py
> 输入这个命令会出错，这个gdb工具是怎么用呀？
>

呃，为什么你不贴出来具体的错误信息？光凭着“会出错”，我也猜不出来会是什么原因呀。

>> 你 100% 确定你的进程 5567 仍是 RUNNING 状态，而且同时你是用 root 帐户运行这个 lj-gc-objs.sxx 工具本身的？
> ps -ef 这个worker进程一直都在，确定是root账户 ，不过环境是docker容器，会不会是容器没有权限？
>

我猜不到呀，只能说“一切皆可能”了，呵呵。

Regards,
-agentzh

chenliq

命令出错的时候会出现：

import: unable to open X server `' @ import.c/ImportImageCommand/359.
import: unable to open X server `' @ import.c/ImportImageCommand/359.
import: unable to open X server `' @ import.c/ImportImageCommand/359.
import: unable to open X server `' @ import.c/ImportImageCommand/359.
import: unable to open X server `' @ import.c/ImportImageCommand/359.
import: unable to open X server `' @ import.c/ImportImageCommand/359.
import: unable to open X server `' @ import.c/ImportImageCommand/359.
-bash: typ: command not found
-bash: null: command not found
-bash: newval: command not found
-bash: ptr2int: command not found
-bash: err: command not found
-bash: out: command not found
-bash: warn: command not found
-bash: /home/backup/nginx-gdb-utils/luajit21.py: line 22: syntax error near unexpected token `('
-bash: /home/backup/nginx-gdb-utils/luajit21.py: line 22: `def LJ_TNIL():'

在 2015年7月8日星期三 UTC+8下午2:08:54，陈立强写道：

source luajit21.py
输入这个命令会出错，这个gdb工具是怎么用呀？

你 100% 确定你的进程 5567 仍是 RUNNING 状态，而且同时你是用 root 帐户运行这个 lj-gc-objs.sxx 工具本身的？

ps -ef 这个worker进程一直都在，确定是root账户，不过环境是docker容器，会不会是容器没有权限？

在 2015年7月8日星期三 UTC+8上午11:34:23，agentzh写道：
Hello!

2015-07-08 10:38 GMT+08:00 陈立强:
>> ./samples/lj-gc-objs.sxx -x 9823
>> Found exact match for libluajit:
>> /usr/local/openresty/luajit/lib/libluajit-5.1.so.2.1.0
>> WARNING: missing unwind/symbol data for module 'kernel'
[...]
>
> 出现这个错误是什么意思？
>

这个错误是指你的系统缺少调试符号。见

https://www.sourceware.org/systemtap/SystemTap_Beginners_Guide/using-systemtap.html#install-kinfo

> 我的debian内核是3.2版是不是这个原因？好像这个工具依赖于systemtap，然后也会依赖于3.5的内核？

debian 的 3.2 的内核缺少 uprobes 和 utrace 支持，而我给出的用户态追踪工具依赖于此。见

https://github.com/openresty/stapxx#installation

当然了，如果不方便运行 systemtap 也可以使用下面这两个 gdb 工具：

https://github.com/openresty/nginx-gdb-utils#lgcstat

https://github.com/openresty/nginx-gdb-utils#lgcpath

>
> Nginx process 5567 is not running or you do not have enough permissions
> 这个进程是存在的，我用root账号，怎么会提示没有权限？

你 100% 确定你的进程 5567 仍是 RUNNING 状态，而且同时你是用 root 帐户运行这个 lj-gc-objs.sxx 工具本身的？

Regards,
-agentzh

agentzh

Hello!

2015-07-08 14:10 GMT+08:00 陈立强:
> 命令出错的时候会出现：
>
[...]
> -bash: /home/backup/nginx-gdb-utils/luajit21.py: line 22: syntax error near
> unexpected token `('
> -bash: /home/backup/nginx-gdb-utils/luajit21.py: line 22: `def LJ_TNIL():'
>

呃，咱能稍微仔细一点不？貌似你把那些应该贴到 ~/.gdbinit 文件里的内容贴到了 ~/.bashrc 文件中。请仔细仔细再仔细地阅读文档：

    https://github.com/openresty/nginx-gdb-utils#installation

Regards,
-agentzh

chenliq

额，不好意思，我习惯性地以为安装之类的文档都是写在最前面，所以看到一大串的commands之前没有安装的文档，以为没有安装教程了。

在 2015年7月8日星期三 UTC+8下午2:13:00，agentzh写道：

Hello!

2015-07-08 14:10 GMT+08:00 陈立强:
> 命令出错的时候会出现：
>
[...]
> -bash: /home/backup/nginx-gdb-utils/luajit21.py: line 22: syntax error near
> unexpected token `('
> -bash: /home/backup/nginx-gdb-utils/luajit21.py: line 22: `def LJ_TNIL():'
>

呃，咱能稍微仔细一点不？貌似你把那些应该贴到 ~/.gdbinit 文件里的内容贴到了 ~/.bashrc 文件中。请仔细仔细再仔细地阅读文档：

https://github.com/openresty/nginx-gdb-utils#installation

Regards,
-agentzh