使用 ffi 时出现 Segmentation fault

xiaooolooong

最近试图用 ffi 封装一个 bz2 的库。

分别封装压缩和解压各三个函数：

int BZ2_bzCompressInit (); //初始化函数
int BZ2_bzCompress (); //工作函数
int BZ2_bzCompressEnd (); //释放函数

int BZ2_bzDecompressInit (); //初始化
int BZ2_bzDecompress (); //工作
int BZ2_bzDecompressEnd (); //释放

bz2 的整个工作流程需要一个结构体，结构体内保存了输入 buffer 、输出 buffer 以及两者的大小，通过调用工作参数，libbz2.so 会将数据压缩/解压后在两个 buffer 之间传送。

同时，结构体内有一个指针，官方说指针指向的内存空间供 libbz2.so 运行时自己使用，会在里面有自己的 buffer 之类的

使用方法是这个样子：

local name = 'agw.log'
local fd = io.open(name, 'r')
local fd1 = io.open(name .. '.bz2', 'wb')

local bzlib = require 'resty.bzlib.compress'
local bz = bzlib:new()
while true do
    local ln = fd:read('*line')
    if not ln then
        break
    end
    local part, err = bz:apply(ln .. '\n')
    if not part then
        print(err)
        break
    end
    fd1:write(part)
end
fd:close()
local part, err = bz:finish()
if not part then
    print(err)
end
fd1:write(part)
fd1:close()
print('end of script')

实际运行时发现自己封装的库只针对很小量的文本才能正常压缩或者解压，

输入数据的体积达到一定大小后，调用工作函数就会发生 Segmentation fault 的现象

甚至在用一个适中大小的文件进行压缩时，在 'end of script' 输出后发生了 Segmentation fault 的现象，目标文件已经正确的压缩写入完毕。

很抱歉自己的 c 语言水平有限，实在没明白问题出在哪里。

xiaooolooong

https://github.com/xiaooloong/lua-resty-bzlib/blob/master/lualib/resty/bzlib/compress.lua

这是我封装的代码

xiaooolooong

开了 core dump ，装了 gdb，发现是在 lj_alloc_free 这里翻的车

Core was generated by `luajit e.lua'.
Program terminated with signal 11, Segmentation fault.
#0  0x000000000041ab0e in lj_alloc_free (msp=0x413cc010, ptr=<optimized out>) at lj_alloc.c:1398
1398		unlink_chunk(fm, next, nsize);
Missing separate debuginfos, use: debuginfo-install bzip2-devel-1.0.6-13.el7.x86_64 glibc-2.17-106.el7_2.8.x86_64 libgcc-4.8.5-4.el7.x86_64
(gdb) bt
#0  0x000000000041ab0e in lj_alloc_free (msp=0x413cc010, ptr=<optimized out>) at lj_alloc.c:1398
#1  0x0000000000421bda in gc_sweep (g=g@entry=0x413cc3b8, p=0x413e5af4, lim=4294967294, lim@entry=4294967295) at lj_gc.c:397
#2  0x00000000004227d0 in gc_onestep (L=L@entry=0x413cc378) at lj_gc.c:619
#3  0x0000000000422c6c in lj_gc_step (L=L@entry=0x413cc378) at lj_gc.c:680
#4  0x000000000042531f in lj_meta_cat (L=0x413cc378, top=0x413ddef0, left=0) at lj_meta.c:304
#5  0x000000000041e98f in lj_BC_CAT ()
#6  0x000000000040eacd in lua_pcall (L=L@entry=0x413cc378, nargs=nargs@entry=0, nresults=<optimized out>, errfunc=errfunc@entry=2) at lj_api.c:1055
#7  0x000000000040488c in docall (L=0x413cc378, narg=0, clear=0) at luajit.c:121
#8  0x000000000040565e in handle_script (n=<optimized out>, argv=<optimized out>, L=<optimized out>) at luajit.c:288
#9  pmain (L=0x413cc378) at luajit.c:537
#10 0x000000000041fa53 in lj_BC_FUNCC ()
#11 0x000000000040eb47 in lua_cpcall (L=L@entry=0x413cc378, func=func@entry=0x404e40 <pmain>, ud=ud@entry=0x0) at lj_api.c:1079
#12 0x00000000004043b4 in main (argc=2, argv=0x7ffc17003648) at luajit.c:565

搜索了一圈有说是因为数组越界或者缓冲溢出的原因，还是很疑惑，不知道问题出在哪里

xiaooolooong

    -- local buff_in = ffi.new('char[?]', #text, text) -- will cause segmentation fault after several call of BZ2_bzComress
    local buff_in = ffi.new('char[' .. #text .. ']', text)
    strm.next_in = buff_in
    strm.avail_in = #text
    local bin = ''
    while true do
        strm.avail_out = BZ_MAX_UNUSED
        strm.next_out = buff_out
        local ok = bzlib.BZ2_bzCompress(strm, action.run)

将 ffi.new('char[?]', #text, text) 更改为 ffi.new('char[' .. #text .. ']', text) 可以正常工作，不会 Segmentation Fault 了

巫毒编程又前进了一步

doujiang24

Hello

2016-10-27 10:14 GMT+08:00 xiaooloong <xiaoo...@gmail.com>:

-- local buff_in = ffi.new('char[?]', #text, text) -- will cause segmentation fault after several call of BZ2_bzComress local buff_in = ffi.new('char[' .. #text .. ']', text) strm.next_in = buff_in strm.avail_in = #text local bin = '' while true do strm.avail_out = BZ_MAX_UNUSED strm.next_out = buff_out local ok = bzlib.BZ2_bzCompress(strm, action.run)

将 ffi.new('char[?]', #text, text) 更改为 ffi.new('char[' .. #text .. ']', text) 可以正常工作，不会 Segmentation Fault 了

你这个解决办法看起来很奇怪，看文档不应该有区别才是

建议你用 gdb 跟踪看看之前的 core 具体是什么原因

最好去掉 gcc 的优化，重新编译一次，configure 的时候，加上：

--with-luajit-xcflags="-O0" --with-cc-opt="-O0"

巫毒编程又前进了一步

--

xiaooolooong

今天试了下改成这样的代码：

local buff_in = ffi_new('char[?]', #text)
ffi.copy(buff_in, text, #text)

也没有发生 Segmentation Fault，很神奇