stapxx的lj-gc.sxx脚本，在nginx负载大的时候，报“failed to get the Lua VM” 错误

bg2bkk

Hi！

我最近在使用stapxx来分析ngx_lua的性能问题，每个脚本都非常实用，感谢春哥，感谢社区！

我在使用的时候，有些脚本，比如lj-gc.sxx，在使用时，nginx负载过高的时候，找不到Lua VM，报“failed to get the Lua VM”。具体情况如下

在nginx负载压力较小的时候，工作正常

[zhendong@D13124441 stapxx]$ sudo ./stap++ ./samples/lj-gc.sxx -x 13337

Found exact match for libluajit: /usr/local/lib/libluajit-5.1.so.2.1.0

Start tracing 13337 (/usr/local/nginx/sbin/nginx)

Total GC count: 128828 bytes

当采用c10000的压力压测nginx时，报错

[zhendong@12324441 stapxx]$ sudo ./stap++ samples/lj-gc.sxx -x 6488

Found exact match for libluajit: /usr/local/openresty/luajit/lib/libluajit-5.1.so.2.1.0

ERROR: read fault [man error::fault] at 0x0000000000737b70 (addr) near operator '@var' at stapxx-fW49uV0J/nginx.lua.stp:9:43

Start tracing 6488 (/data1/zhendong/openresty-1.9.7.4/build/nginx-1.9.7/objs/nginx)

WARNING: Number of errors: 1, skipped probes: 0

WARNING: /usr/bin/staprun exited with status: 1

Pass 5: run failed. [man error::pass5]

启用--skip-badvars参数的话，结果是

[zhendong@12324441 stapxx]$ sudo ./stap++ samples/lj-gc.sxx -x 6488 --skip-badvars

Found exact match for libluajit: /usr/local/openresty/luajit/lib/libluajit-5.1.so.2.1.0

Start tracing 6488 (/data1/zhendong/openresty-1.9.7.4/build/nginx-1.9.7/objs/nginx)

Failed to get the main Lua VM

Failed to get the global Lua state

我使用原生nginx、openresty，效果是一样的。相同的场景，使用tengine的话直接是错误的。

感觉在nginx负载过高的时候，stap对于进程的访问会有偏差，或者是我们的stap++脚本处理跟不上nginx worker的速度？

由于我对systemtap的使用不熟练，所以请大家帮忙分析原因哈。

另外，德江的ngx-lua-shdict-info貌似目前只支持openresty，不支持nginx+ngx_lua，是这样的吗？如果是的话，有没有支持的打算，或许我可以做点事情 :D

谢谢大家！

bg2bkk

想补充一下：在使用ngx-lua-shdict-info.sxx脚本时，发现负载高的话也同样会报错误

$ sudo ./stap++ samples/ngx-lua-shdict-info.sxx -x 9742 --arg dict=kv_api_root_upstream --skip-badvars

ERROR: user string copy fault -14 at (null) [man error::fault] near identifier 'user_string_n' at /usr/share/systemtap/tapset/uconversions.stp:120:10

Start tracing 9742 (/data1/zhendong/openresty-1.9.7.4/build/nginx-1.9.7/objs/nginx)

WARNING: Number of errors: 1, skipped probes: 0

WARNING: /usr/bin/staprun exited with status: 1

Pass 5: run failed. [man error::pass5]

我采用的是最新的openresty-1.9.7.4，编译参数是 CFLAGS="-gdwarf-2 -O0" ./configure

doujiang24

hello，

在 2016年4月1日下午8:23，Zhendong Huang <bg...@gmail.com>写道：

Hi！
我最近在使用stapxx来分析ngx_lua的性能问题，每个脚本都非常实用，感谢春哥，感谢社区！

我在使用的时候，有些脚本，比如lj-gc.sxx，在使用时，nginx负载过高的时候，找不到Lua VM，报“failed to get the Lua VM”。具体情况如下

在nginx负载压力较小的时候，工作正常

[zhendong@D13124441 stapxx]$ sudo ./stap++ ./samples/lj-gc.sxx -x 13337
Found exact match for libluajit: /usr/local/lib/libluajit-5.1.so.2.1.0
Start tracing 13337 (/usr/local/nginx/sbin/nginx)
Total GC count: 128828 bytes

当采用c10000的压力压测nginx时，报错

[zhendong@12324441 stapxx]$ sudo ./stap++ samples/lj-gc.sxx -x 6488
Found exact match for libluajit: /usr/local/openresty/luajit/lib/libluajit-5.1.so.2.1.0
ERROR: read fault [man error::fault] at 0x0000000000737b70 (addr) near operator '@var' at stapxx-fW49uV0J/nginx.lua.stp:9:43
Start tracing 6488 (/data1/zhendong/openresty-1.9.7.4/build/nginx-1.9.7/objs/nginx)
WARNING: Number of errors: 1, skipped probes: 0
WARNING: /usr/bin/staprun exited with status: 1
Pass 5: run failed. [man error::pass5]

启用--skip-badvars参数的话，结果是

[zhendong@12324441 stapxx]$ sudo ./stap++ samples/lj-gc.sxx -x 6488 --skip-badvars
Found exact match for libluajit: /usr/local/openresty/luajit/lib/libluajit-5.1.so.2.1.0
Start tracing 6488 (/data1/zhendong/openresty-1.9.7.4/build/nginx-1.9.7/objs/nginx)
Failed to get the main Lua VM
Failed to get the global Lua state

我使用原生nginx、openresty，效果是一样的。相同的场景，使用tengine的话直接是错误的。

感觉在nginx负载过高的时候，stap对于进程的访问会有偏差，或者是我们的stap++脚本处理跟不上nginx worker的速度？
由于我对systemtap的使用不熟练，所以请大家帮忙分析原因哈。

我没碰到过这种情况，刚刚大致看了下 stapxx 的代码，应当是有这种可能的，只是我还没搞懂合适会出现（对 nginx 这部分代码还不了解）

不会是 stap++ 处理速度的问题，因为 lj-gc.sxx 只需要执行一次，并不像火焰图那样需要采样

另外，德江的ngx-lua-shdict-info貌似目前只支持openresty，不支持nginx+ngx_lua，是这样的吗？如果是的话，有没有支持的打算，或许我可以做点事情 :D

我不太明白你说的 nginx+ngx_lua 是什么组合，与 openresty 的区别是什么

应该是没有这种限制的

谢谢大家！

--

bg2bkk

Hi，感谢回复！

我接下来针对我这个场景再收集些数据，争取能够找到复现的方法。同时也尝试理解stapxx的代码来找原因。

我所说的nginx+ngx_lua组合，是指使用原生nginx，编译配置时--add-module添加openresty bundle包里的ngx_lua-0.10，不知道这样编译出来的nginx和openresty的区别大不大。使用systemtap类型的命令时，感觉有时候差别比较大，遇到本topic的第一个post中那类的问题

谢谢大家！

--

agentzh

Hello!

2016-04-01 5:23 GMT-07:00 Zhendong Huang:
> 当采用c10000的压力压测nginx时，报错
>
> [zhendong@12324441 stapxx]$ sudo ./stap++ samples/lj-gc.sxx -x 6488
> Found exact match for libluajit:
> /usr/local/openresty/luajit/lib/libluajit-5.1.so.2.1.0
> ERROR: read fault [man error::fault] at 0x0000000000737b70 (addr) near
> operator '@var' at stapxx-fW49uV0J/nginx.lua.stp:9:43
> Start tracing 6488
> (/data1/zhendong/openresty-1.9.7.4/build/nginx-1.9.7/objs/nginx)
> WARNING: Number of errors: 1, skipped probes: 0
> WARNING: /usr/bin/staprun exited with status: 1
> Pass 5: run failed.  [man error::pass5]

这种 stap 错误一般是正常的，因为 systemtap 是非侵入式的，所以在某个时刻，某个地址可能是不可读的。你可以尝试多运行几次该
stap 工具。这跟运气有关。

Regards,
-agentzh

bg2bkk

Hi，感谢回复！

我明白了，的确有点随机，没有规律。如果仍然想在高负责情况下使用stap脚本，那么应当在负载高低和stap脚本大概率执行成功之间找个平衡。

这种 stap 错误一般是正常的，因为 systemtap 是非侵入式的，所以在某个时刻，某个地址可能是不可读的。你可以尝试多运行几次该
stap 工具。这跟运气有关。

Regards,
-agentzh