燃烧图lua stack 乱问题

roidinev

centos 7.1 yum安装的stap ，yum安装的openresty 。

lj_lua_stack探测到某些sample 的 lua stack 的最先调用的那个函数frame的路径被截断然后是行号(有时行号就错误了，fix lua时就找不到对应函数)，其他frame倒是正常frame行(路径:行号)。

在flamegraph里发现一些高框是好多调用栈堆叠起来，根本没有调用关系。

附件a99.svg是未修改lua stack的燃烧图，a99f.svg是修改后的，在修复的时候会报错，某些函数找不到。

stap ver:

Systemtap translator/driver (version 2.8/0.163, rpm 2.8-10.el7)

luajit ver:from yum reposity

Version : 1.11.2.1

Attachment: a99.svg
Description: image/svg

Attachment: a99f.svg
Description: image/svg

doujiang24

Hello

在 2016年11月16日下午1:55， <roi...@gmail.com>写道：

centos 7.1 yum安装的stap ，yum安装的openresty 。
lj_lua_stack探测到某些sample 的 lua stack 的最先调用的那个函数frame的路径被截断

抱歉，你能具体说明一下么，没看懂

然后是行号(有时行号就错误了，fix lua时就找不到对应函数)，其他frame倒是正常frame行(路径:行号)。

在flamegraph里发现一些高框是好多调用栈堆叠起来，根本没有调用关系。

会不会是 Lua 的尾调用优化，让你觉得有问题呢？

附件a99.svg是未修改lua stack的燃烧图，a99f.svg是修改后的，在修复的时候会报错，某些函数找不到。

stap ver:
Systemtap translator/driver (version 2.8/0.163, rpm 2.8-10.el7)

luajit ver:from yum reposity
LuaJIT 2.1.0-beta2 -- Copyright (C) 2005-2016 Mike Pall. http://luajit.org/

Version : 1.11.2.1

--

roidinev

请看用lj-lua-stack 抓取的bt

https://pastebin.ubuntu.com/23494621/

On Friday, November 18, 2016 at 10:53:47 AM UTC+8, doujiang wrote:

Hello

在 2016年11月16日下午1:55， <roid...@gmail.com>写道：
centos 7.1 yum安装的stap ，yum安装的openresty 。
lj_lua_stack探测到某些sample 的 lua stack 的最先调用的那个函数frame的路径被截断

抱歉，你能具体说明一下么，没看懂

然后是行号(有时行号就错误了，fix lua时就找不到对应函数)，其他frame倒是正常frame行(路径:行号)。

在flamegraph里发现一些高框是好多调用栈堆叠起来，根本没有调用关系。

会不会是 Lua 的尾调用优化，让你觉得有问题呢？

附件a99.svg是未修改lua stack的燃烧图，a99f.svg是修改后的，在修复的时候会报错，某些函数找不到。

stap ver:
Systemtap translator/driver (version 2.8/0.163, rpm 2.8-10.el7)

luajit ver:from yum reposity
LuaJIT 2.1.0-beta2 -- Copyright (C) 2005-2016 Mike Pall. http://luajit.org/

Version : 1.11.2.1

--

roidinev

lj_BC_JLOOP
@/root/atest/openresty/proxy/thirdparty/thrift/lualib/TObject.lua:23
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/get_args.lua:64
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/THBaseServiceClient.lua:150
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/THBaseServiceClient.lua:141
builtin#21
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/hbase.lua:425
@/root/atest/openresty/proxy/cached_metadb/cachedmd.lua:761
@/root/atest/openresty/proxy/storageprox	3（这里就出现问题，导致fix lua stack 时出错）
lj_meta_tget
@/root/atest/openresty/proxy/thirdparty/thrift/lualib/TTransportBase.lua:33
@/root/atest/openresty/proxy/thirdparty/thrift/lualib/TBinaryProtocol.lua:263
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/TColumnValue.lua:60
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/TResult.lua:57
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/get_result.lua:49
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/THBaseServiceClient.lua:164
builtin#21
@/root/atest	3
lj_alloc_malloc
C:ngx_http_lua_socket_tcp_connect
@/root/atest/openresty/proxy/thirdparty/thrift/lualib/TCosocket.lua:88
@/root/atest/openresty/proxy/thirdparty/thrift/lualib/TClient.lua:42
builtin#21
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/hbase.lua:376
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/hbase.lua:418
@/root/atest/openresty/proxy/cached_metadb/cachedmd.lua:761
@/root/atest/openresty/proxy/storageproxy_access.lua:628
@/root/atest/openresty/proxy/storageproxy.lua:134
@/root/at	3
getppid
builtin#173
@/root/atest/openresty/proxy/thirdparty/resty/uuid.lua:27
@/root/atest/openresty/proxy/storageproxy_s3_op.lua:1232
@/root/atest/openresty/proxy/storageproxy_s3_op.lua:2778
@/root/atest/openresty/proxy/storageproxy.lua:171
@/root/atest/openresty/proxy/storageproxy.lua:203

以上调用，从最底层到上层调用，stack很乱。uuid调用只不过生成个uuid号，不会调用到后面的stack。

看了yum 安装的openresty（非debug版本），其中luajit是没有framepointer编译的，会不会是这种情况导致的？

这里uuid的是用ffi调用的c库。
On Friday, November 18, 2016 at 10:53:47 AM UTC+8, doujiang wrote:

Hello

在 2016年11月16日下午1:55， <roid...@gmail.com>写道：
centos 7.1 yum安装的stap ，yum安装的openresty 。
lj_lua_stack探测到某些sample 的 lua stack 的最先调用的那个函数frame的路径被截断

抱歉，你能具体说明一下么，没看懂

然后是行号(有时行号就错误了，fix lua时就找不到对应函数)，其他frame倒是正常frame行(路径:行号)。

在flamegraph里发现一些高框是好多调用栈堆叠起来，根本没有调用关系。

会不会是 Lua 的尾调用优化，让你觉得有问题呢？

附件a99.svg是未修改lua stack的燃烧图，a99f.svg是修改后的，在修复的时候会报错，某些函数找不到。

stap ver:
Systemtap translator/driver (version 2.8/0.163, rpm 2.8-10.el7)

luajit ver:from yum reposity
LuaJIT 2.1.0-beta2 -- Copyright (C) 2005-2016 Mike Pall. http://luajit.org/

Version : 1.11.2.1

--

agentzh

Hello!

2016-11-18 1:03 GMT-08:00  <roi...@gmail.com>:
>
> 以上调用，从最底层到上层调用，stack很乱。uuid调用只不过生成个uuid号，不会调用到后面的stack。
>

你看反了吗？调用栈都是从下往上生长的。

> 看了yum 安装的openresty（非debug版本），其中luajit是没有framepointer编译的，会不会是这种情况导致的？
>

调试工具一般只依赖 -debuginfo 包，并不需要 -debug 包。

Regards,
-agentzh

roidinev

哦，表述不清。就是从下往上生长的，
那么请问这个调用栈正常吗？

lj_BC_JLOOP
@/root/atest/openresty/proxy/thirdparty/thrift/lualib/TObject.lua:23
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/get_args.lua:64
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/THBaseServiceClient.lua:150
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/THBaseServiceClient.lua:141
builtin#21
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/hbase.lua:425
@/root/atest/openresty/proxy/cached_metadb/cachedmd.lua:761
@/root/atest/openresty/proxy/storageprox	3（这里就出现问题，导致fix lua stack 时出错，也丢失了冒号）
lj_meta_tget
@/root/atest/openresty/proxy/thirdparty/thrift/lualib/TTransportBase.lua:33
@/root/atest/openresty/proxy/thirdparty/thrift/lualib/TBinaryProtocol.lua:263
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/TColumnValue.lua:60
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/TResult.lua:57
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/get_result.lua:49
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/client/THBaseServiceClient.lua:164
builtin#21
@/root/atest	3
lj_alloc_malloc
C:ngx_http_lua_socket_tcp_connect
@/root/atest/openresty/proxy/thirdparty/thrift/lualib/TCosocket.lua:88
@/root/atest/openresty/proxy/thirdparty/thrift/lualib/TClient.lua:42
builtin#21
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/hbase.lua:376
@/root/atest/openresty/proxy/metadb_api/hbase/thrift/hbase.lua:418
@/root/atest/openresty/proxy/cached_metadb/cachedmd.lua:761
@/root/atest/openresty/proxy/storageproxy_access.lua:628
@/root/atest/openresty/proxy/storageproxy.lua:134
@/root/at	3
getppid
builtin#173
@/root/atest/openresty/proxy/thirdparty/resty/uuid.lua:27
@/root/atest/openresty/proxy/storageproxy_s3_op.lua:1232
@/root/atest/openresty/proxy/storageproxy_s3_op.lua:2778
@/root/atest/openresty/proxy/storageproxy.lua:171
@/root/atest/openresty/proxy/storageproxy.lua:203

在 2016年12月4日星期日 UTC+8上午4:28:44，agentzh写道：

Hello!

2016-11-18 1:03 GMT-08:00 <roid...@gmail.com>:
>
> 以上调用，从最底层到上层调用，stack很乱。uuid调用只不过生成个uuid号，不会调用到后面的stack。
>

你看反了吗？调用栈都是从下往上生长的。

> 看了yum 安装的openresty（非debug版本），其中luajit是没有framepointer编译的，会不会是这种情况导致的？
>

调试工具一般只依赖 -debuginfo 包，并不需要 -debug 包。

Regards,
-agentzh