无法使用ngx-lua-bt排查nginx worker cpu 100问题

jianhuang0

线上出现，一段时间之后nginx worker 会一个接一个的cpu100，怀疑是lua代码有死循环

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

25937 www-data 20 0 415m 179m 17m R 100 0.1 824:56.13 nginx

看了邮件列表用 ngx-lua-bt去查

+ /home/game/flameGraph/nginx-systemtap-toolkit-master/ngx-lua-bt -p 25937 --luajit20

WARNING: Tracing 25937 (/usr/local/openresty/nginx/sbin/nginx) for LuaJIT 2.0...

一直处于这个阶段，没有下面的内容，然后其他worker就一个一个的都cpu跑满，停掉ngx-lua-bt之后又恢复正常。

请问是什么原因，要怎么排查cpu 100的问题呢？

yuansheng

2017-01-05 16:13 GMT+08:00 redcloser <jian...@gmail.com>:

线上出现，一段时间之后nginx worker 会一个接一个的cpu100，怀疑是lua代码有死循环
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
25937 www-data 20 0 415m 179m 17m R 100 0.1 824:56.13 nginx

可以看看这个帖子：

https://groups.google.com/forum/#!searchin/openresty/resty$20lock$20%E6%AD%BB%E9%94%81%7Csort:relevance/openresty/PGQnBWKyKmE/QSZjan59AwAJ

这个问题必须使用 lua.resty.core 包才能绕过。

你怀疑是 LUA 代码有死循环，其实 Nginx 也可能是死循环，所以看一下 Nginx 的堆栈信息也很有必要。

看了邮件列表用 ngx-lua-bt去查
+ /home/game/flameGraph/nginx-systemtap-toolkit-master/ngx-lua-bt -p 25937 --luajit20
WARNING: Tracing 25937 (/usr/local/openresty/nginx/sbin/nginx) for LuaJIT 2.0...

一直处于这个阶段，没有下面的内容，然后其他worker就一个一个的都cpu跑满，停掉ngx-lua-bt之后又恢复正常。

请问是什么原因，要怎么排查cpu 100的问题呢？

--

YuanSheng Wang

---------------------------------------

My Github: https://github.com/membphis

OpenResty lover ^_^

ldmbj2012

这种情况基本都是qps升高时才出现，可以先做个压测，比较容易跟踪问题

在 2017年1月5日星期四 UTC+8下午4:13:03，redcloser写道：

线上出现，一段时间之后nginx worker 会一个接一个的cpu100，怀疑是lua代码有死循环
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
25937 www-data 20 0 415m 179m 17m R 100 0.1 824:56.13 nginx

看了邮件列表用 ngx-lua-bt去查
+ /home/game/flameGraph/nginx-systemtap-toolkit-master/ngx-lua-bt -p 25937 --luajit20
WARNING: Tracing 25937 (/usr/local/openresty/nginx/sbin/nginx) for LuaJIT 2.0...

一直处于这个阶段，没有下面的内容，然后其他worker就一个一个的都cpu跑满，停掉ngx-lua-bt之后又恢复正常。

请问是什么原因，要怎么排查cpu 100的问题呢？

jianhuang0

我gdb attach 到一个cpu100的进程里 bt出来的信息是这些

Reading symbols from /usr/lib/x86_64-linux-gnu/libuuid.so...(no debugging symbols found)...done.

Loaded symbols for /usr/lib/x86_64-linux-gnu/libuuid.so

0x00007fed38795fa0 in ?? ()

(gdb) bt

#0 0x00007fed38795fa0 in ?? ()

#1 0x0000000040648bd8 in ?? ()

#2 0x4000000000000000 in ?? ()

#3 0x0000000000000000 in ?? ()

(gdb) bt full

#0 0x00007fed38795fa0 in ?? ()

No symbol table info available.

#1 0x0000000040648bd8 in ?? ()

No symbol table info available.

#2 0x4000000000000000 in ?? ()

No symbol table info available.

#3 0x0000000000000000 in ?? ()

No symbol table info available.

(gdb)

没有看出来什么可用的信息

在 2017年1月5日星期四 UTC+8下午5:55:04，YuanSheng写道：

2017-01-05 16:13 GMT+08:00 redcloser <jianh...@gmail.com>:
线上出现，一段时间之后nginx worker 会一个接一个的cpu100，怀疑是lua代码有死循环
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
25937 www-data 20 0 415m 179m 17m R 100 0.1 824:56.13 nginx
可以看看这个帖子：
https://groups.google.com/forum/#!searchin/openresty/resty$20lock$20%E6%AD%BB%E9%94%81%7Csort:relevance/openresty/PGQnBWKyKmE/QSZjan59AwAJ

这个问题必须使用 lua.resty.core 包才能绕过。

你怀疑是 LUA 代码有死循环，其实 Nginx 也可能是死循环，所以看一下 Nginx 的堆栈信息也很有必要。

看了邮件列表用 ngx-lua-bt去查
+ /home/game/flameGraph/nginx-systemtap-toolkit-master/ngx-lua-bt -p 25937 --luajit20
WARNING: Tracing 25937 (/usr/local/openresty/nginx/sbin/nginx) for LuaJIT 2.0...

一直处于这个阶段，没有下面的内容，然后其他worker就一个一个的都cpu跑满，停掉ngx-lua-bt之后又恢复正常。

请问是什么原因，要怎么排查cpu 100的问题呢？

--

--

YuanSheng Wang
---------------------------------------
My Github: https://github.com/membphis
OpenResty lover ^_^

jianhuang0

GNU gdb (Ubuntu/Linaro 7.4-2012.04-0ubuntu2.1) 7.4-2012.04

License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>

This is free software: you are free to change and redistribute it.

There is NO WARRANTY, to the extent permitted by law. Type "show copying"

and "show warranty" for details.

This GDB was configured as "x86_64-linux-gnu".

For bug reporting instructions, please see:

<http://bugs.launchpad.net/gdb-linaro/>...

attach: No such file or directory.

Attaching to process 10354

Reading symbols from /usr/local/openresty/nginx/sbin/nginx...done.

Reading symbols from /lib/x86_64-linux-gnu/libpthread.so.0...(no debugging symbols found)...done.

[Thread debugging using libthread_db enabled]

Using host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1".

Loaded symbols for /lib/x86_64-linux-gnu/libpthread.so.0

Reading symbols from /lib/x86_64-linux-gnu/libcrypt.so.1...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libcrypt.so.1

Reading symbols from /usr/local/openresty/luajit/lib/libluajit-5.1.so.2...done.

Loaded symbols for /usr/local/openresty/luajit/lib/libluajit-5.1.so.2

Reading symbols from /lib/x86_64-linux-gnu/libm.so.6...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libm.so.6

Reading symbols from /lib/x86_64-linux-gnu/libpcre.so.3...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libpcre.so.3

Reading symbols from /lib/x86_64-linux-gnu/libssl.so.1.0.0...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libssl.so.1.0.0

Reading symbols from /lib/x86_64-linux-gnu/libcrypto.so.1.0.0...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libcrypto.so.1.0.0

Reading symbols from /lib/x86_64-linux-gnu/libz.so.1...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libz.so.1

Reading symbols from /lib/x86_64-linux-gnu/libc.so.6...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libc.so.6

Reading symbols from /lib64/ld-linux-x86-64.so.2...(no debugging symbols found)...done.

Loaded symbols for /lib64/ld-linux-x86-64.so.2

Reading symbols from /lib/x86_64-linux-gnu/libdl.so.2...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libdl.so.2

Reading symbols from /lib/x86_64-linux-gnu/libgcc_s.so.1...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libgcc_s.so.1

Reading symbols from /lib/x86_64-linux-gnu/libnss_compat.so.2...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libnss_compat.so.2

Reading symbols from /lib/x86_64-linux-gnu/libnsl.so.1...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libnsl.so.1

Reading symbols from /lib/x86_64-linux-gnu/libnss_nis.so.2...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libnss_nis.so.2

Reading symbols from /lib/x86_64-linux-gnu/libnss_files.so.2...(no debugging symbols found)...done.

Loaded symbols for /lib/x86_64-linux-gnu/libnss_files.so.2

Reading symbols from /usr/local/openresty/lualib/cjson.so...done.

Loaded symbols for /usr/local/openresty/lualib/cjson.so

Reading symbols from /usr/lib/x86_64-linux-gnu/libuuid.so...(no debugging symbols found)...done.

Loaded symbols for /usr/lib/x86_64-linux-gnu/libuuid.so

0x00007fed36d5453b in ?? ()

(gdbbt full

#0 0x00007fed36d5453b in ?? ()

No symbol table info available.

#1 0x0000000040216cb8 in ?? ()

No symbol table info available.

#2 0x4000000000000000 in ?? ()

No symbol table info available.

#3 0x0000000000000000 in ?? ()

No symbol table info available.

完整的gdb 信息是这样的上面提示了很多没有debug symbol 有关系吗？

在 2017年1月5日星期四 UTC+8下午5:55:04，YuanSheng写道：

2017-01-05 16:13 GMT+08:00 redcloser <jianh...@gmail.com>:
线上出现，一段时间之后nginx worker 会一个接一个的cpu100，怀疑是lua代码有死循环
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
25937 www-data 20 0 415m 179m 17m R 100 0.1 824:56.13 nginx
可以看看这个帖子：
https://groups.google.com/forum/#!searchin/openresty/resty$20lock$20%E6%AD%BB%E9%94%81%7Csort:relevance/openresty/PGQnBWKyKmE/QSZjan59AwAJ

这个问题必须使用 lua.resty.core 包才能绕过。

你怀疑是 LUA 代码有死循环，其实 Nginx 也可能是死循环，所以看一下 Nginx 的堆栈信息也很有必要。

看了邮件列表用 ngx-lua-bt去查
+ /home/game/flameGraph/nginx-systemtap-toolkit-master/ngx-lua-bt -p 25937 --luajit20
WARNING: Tracing 25937 (/usr/local/openresty/nginx/sbin/nginx) for LuaJIT 2.0...

一直处于这个阶段，没有下面的内容，然后其他worker就一个一个的都cpu跑满，停掉ngx-lua-bt之后又恢复正常。

请问是什么原因，要怎么排查cpu 100的问题呢？

--

--

YuanSheng Wang
---------------------------------------
My Github: https://github.com/membphis
OpenResty lover ^_^

yuansheng

2017-01-05 20:16 GMT+08:00 redcloser <jian...@gmail.com>:

我gdb attach 到一个cpu100的进程里 bt出来的信息是这些

Reading symbols from /usr/lib/x86_64-linux-gnu/libuuid.so...(no debugging symbols found)...done.

Loaded symbols for /usr/lib/x86_64-linux-gnu/libuuid.so

0x00007fed38795fa0 in ?? ()

(gdb) bt

#0 0x00007fed38795fa0 in ?? ()

#1 0x0000000040648bd8 in ?? ()

#2 0x4000000000000000 in ?? ()

#3 0x0000000000000000 in ?? ()

(gdb) bt full

#0 0x00007fed38795fa0 in ?? ()

No symbol table info available.

#1 0x0000000040648bd8 in ?? ()

No symbol table info available.

#2 0x4000000000000000 in ?? ()

No symbol table info available.

#3 0x0000000000000000 in ?? ()

No symbol table info available.

(gdb)

没有调试符的问题，使用 google 很快就可以找到答案：

http://stackoverflow.com/questions/5244509/no-debugging-symbols-found-when-using-gdb

nginx 开启调试符：

https://www.nginx.com/resources/admin-guide/debug/

The exact set of compiler flags depends on the compiler. For example, for the GCC compiler system:

include debugging symbols with the “-g” flag
make the debugger output easier to understand by disabling compiler optimization with the “-O0” flag:
```
$ ./configure --with-debug --with-cc-opt='-O0 -g' ...
```

--with-debug 不是必须的。

没有看出来什么可用的信息

在 2017年1月5日星期四 UTC+8下午5:55:04，YuanSheng写道：

2017-01-05 16:13 GMT+08:00 redcloser <jianh...@gmail.com>:
线上出现，一段时间之后nginx worker 会一个接一个的cpu100，怀疑是lua代码有死循环
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
25937 www-data 20 0 415m 179m 17m R 100 0.1 824:56.13 nginx
可以看看这个帖子：
https://groups.google.com/forum/#!searchin/openresty/resty$20lock$20%E6%AD%BB%E9%94%81%7Csort:relevance/openresty/PGQnBWKyKmE/QSZjan59AwAJ

这个问题必须使用 lua.resty.core 包才能绕过。

你怀疑是 LUA 代码有死循环，其实 Nginx 也可能是死循环，所以看一下 Nginx 的堆栈信息也很有必要。

看了邮件列表用 ngx-lua-bt去查
+ /home/game/flameGraph/nginx-systemtap-toolkit-master/ngx-lua-bt -p 25937 --luajit20
WARNING: Tracing 25937 (/usr/local/openresty/nginx/sbin/nginx) for LuaJIT 2.0...

一直处于这个阶段，没有下面的内容，然后其他worker就一个一个的都cpu跑满，停掉ngx-lua-bt之后又恢复正常。

请问是什么原因，要怎么排查cpu 100的问题呢？

--

--

YuanSheng Wang
---------------------------------------
My Github: https://github.com/membphis
OpenResty lover ^_^

--

YuanSheng Wang

---------------------------------------

My Github: https://github.com/membphis

OpenResty lover ^_^