worker process cpu高

604741246

hi：

现在生产环节出现了单台7,8worker process cpu过高的现象，先后用sample-bt、ngx-sample-lua-bt看看情况，发现这些worker process用ngx-sample-lua-bt时候发现不到任何的lua调用信息，用ltrace看也没有任何的系统调用信息，用pstack的信息如下：

#0 0x00007f6740e444f7 in lj_BC_ITERN () from /data1/work/ngx_openresty/luajit/lib/libluajit-5.1.so.2

#1 0x000000000048d61e in ngx_http_lua_run_thread ()

#2 0x00000000004940a5 in ngx_http_lua_socket_tcp_resume ()

#3 0x000000000048f46b in ngx_http_lua_content_wev_handler ()

#4 0x00000000004933d8 in ngx_http_lua_socket_handle_success ()

#5 0x0000000000497197 in ngx_http_lua_socket_tcp_read ()

#6 0x000000000049758e in ngx_http_lua_socket_read_handler ()

#7 0x0000000000494133 in ngx_http_lua_socket_tcp_handler ()

#8 0x00000000004313ac in ngx_epoll_process_events ()

#9 0x000000000042a423 in ngx_process_events_and_timers ()

#10 0x000000000043004b in ngx_worker_process_cycle ()

#11 0x000000000042e958 in ngx_spawn_process ()

#12 0x000000000042f718 in ngx_start_worker_processes ()

#13 0x0000000000430b9a in ngx_master_process_cycle ()

#14 0x0000000000416273 in main ()

请问大致是什么情况？

agentzh

Hello!

2014-03-17 20:01 GMT-07:00 604741246:
>     现在生产环节出现了单台7,8worker process
> cpu过高的现象，先后用sample-bt、ngx-sample-lua-bt看看情况，

你用 sample-bt 工具生成的 C 级别的 on-CPU 火焰图贴出来看看？

> 用pstack的信息如下：
> #0  0x00007f6740e444f7 in lj_BC_ITERN () from /data1/work/ngx_openresty/luajit/lib/libluajit-5.1.so.2
> #1  0x000000000048d61e in ngx_http_lua_run_thread ()

pstack 只是给出相对孤立的调用栈样本，不容易看到全景。单从这个样本看，你的 Lua 代码正在遍历一个 Lua table.

Regards,
-agentzh

agentzh

Hello!

2014-03-17 21:17 GMT-07:00 Yichun Zhang (agentzh):
> pstack 只是给出相对孤立的调用栈样本，不容易看到全景。单从这个样本看，你的 Lua 代码正在遍历一个 Lua table.
>

值得一提的是，如果你使用的是 LuaJIT 2.0 或者 Lua 5.1，则你可以使用 ngx-lua-bt 工具尝试获取当前的 Lua 调用栈：

    https://github.com/agentzh/nginx-systemtap-toolkit#ngx-lua-bt

如果你使用的是 LuaJIT v2.1（比如较新的 openresty中），则建议换用 stap++ 项目中的 lj-lua-bt 工具：

    https://github.com/agentzh/stapxx#lj-lua-bt

ngx-lua-bt 和 lj-lua-bt 对于确定 Lua 代码热循环的具体位置非常有用。

类似地，如果你使用的是 LuaJIT v2.1，ngx-sample-lua-bt 工具也不适用，应当换用 stap++ 项目中的
lj-lua-stacks 工具生成 Lua 代码级别的 on-CPU 火焰图：

    https://github.com/agentzh/stapxx#lj-lua-stacks

Regards,
-agentzh

604741246

应该是这个了，感谢春哥

------------------ 原始邮件 ------------------

发件人: "Yichun Zhang (agentzh)";<age...@gmail.com>;

发送时间: 2014年3月18日(星期二) 中午12:17

收件人: "openresty"<openresty@googlegroups.com>;

主题: Re: [openresty] worker process cpu高

Hello!

2014-03-17 20:01 GMT-07:00 604741246:
> 现在生产环节出现了单台7,8worker process
> cpu过高的现象，先后用sample-bt、ngx-sample-lua-bt看看情况，

你用 sample-bt 工具生成的 C 级别的 on-CPU 火焰图贴出来看看？

> 用pstack的信息如下：
> #0 0x00007f6740e444f7 in lj_BC_ITERN () from /data1/work/ngx_openresty/luajit/lib/libluajit-5.1.so.2
> #1 0x000000000048d61e in ngx_http_lua_run_thread ()

pstack 只是给出相对孤立的调用栈样本，不容易看到全景。单从这个样本看，你的 Lua 代码正在遍历一个 Lua table.

Regards,
-agentzh

--
ong>
Description: Binary data

agentzh

Hello!

2014-03-17 21:47 GMT-07:00 云水谣:
> 应该是这个了，感谢春哥
>

从你提供的 C 级别火焰图看，应当是你的 Lua 代码中的某一个循环过热或者死循环了。这个循环主要涉及 ADDVN 和 ITERN
这两个字节码（LuaJIT 字节码的具体含义可以参见文档 http://wiki.luajit.org/Bytecode-2.0
）。应当是你的 Lua 代码逻辑上的问题。

下一步你应当使用我上一封邮件提到的工具 ngx-lua-bt 或者 lj-lua-bt 进一步确认热循环在你的 Lua 代码基里的准确位置。

Regards,
-agentzh

604741246

好的，我下一步试试看，thanks to 春哥~

------------------ 原始邮件 ------------------

发件人: "Yichun Zhang (agentzh)";<age...@gmail.com>;

发送时间: 2014年3月18日(星期二) 中午1:12

收件人: "openresty"<openresty@googlegroups.com>;

主题: Re: 回复： [openresty] worker process cpu高

Hello!

2014-03-17 21:47 GMT-07:00 云水谣:
> 应该是这个了，感谢春哥
>

从你提供的 C 级别火焰图看，应当是你的 Lua 代码中的某一个循环过热或者死循环了。这个循环主要涉及 ADDVN 和 ITERN
这两个字节码（LuaJIT 字节码的具体含义可以参见文档 http://wiki.luajit.org/Bytecode-2.0
）。应当是你的 Lua 代码逻辑上的问题。
发送
下一步你应当使用我上一封邮件提到的工具 ngx-lua-bt 或者 lj-lua-bt 进一步确认热循环在你的 Lua 代码基里的准确位置。

Regards,
-agentzh

--
--
邮件来自列表“openresty”,专用于技术讨论!
订阅: 请发空白邮件到 openresty+subscribe@googlegroups.com
发言: 请发邮件到 openresty@googlegroups.com
退订: 请发邮件至 openresty+unsubscribe@googlegroups.com
归档: http://groups.google.com/group/openresty
官网: http://openresty.org/
仓库: https://github.com/agentzh/ngx_openresty
教程: http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html