求助，lua-resty-fastdfs问题

0312birdzhang · 2016-07-14T15:55:16+00:00

Hello在 2016年7月15日下午1:39，Miracle <maxia...@gmail.com>写道：Hi, 我这...

求助，lua-resty-fastdfs问题

0312birdzhang

Hi,all

我想利用openresty+mysql+fastdfs实现fastdfs的下载服务，自己有一张映射表记录uri跟fastdfs field对应关系

现在下载的时候内存很快就占满了，代码如下

 local data = ""> st:set_keepalive(0, 3)
 ngx.header["Content-MD5"] = filemd5
 ngx.header["Last-Modified"] = converUnix2GMT(lastmodified)
 ngx.header["Content-disposition"] = "filename=" .. filename
 ngx.say(data)

这里发现data不能自动清理，16G内存很快没了，然后worker退出，求解，谢谢

doujiang24

Hello

在 2016年7月14日下午3:55，Zhang Bird <0312bi...@gmail.com>写道：

Hi,all

我想利用openresty+mysql+fastdfs实现fastdfs的下载服务，自己有一张映射表记录uri跟fastdfs field对应关系

现在下载的时候内存很快就占满了，代码如下
local data = ""> st:set_keepalive(0, 3) ngx.header["Content-MD5"] = filemd5 ngx.header["Last-Modified"] = converUnix2GMT(lastmodified) ngx.header["Content-disposition"] = "filename=" .. filename ngx.say(data)

这里发现data不能自动清理

这个 data 是 Lua 的字符串，是由 GC 管理的，并不存在你说的“不能自动清理”的问题

16G内存很快没了，然后worker退出，求解，谢谢

建议你用 sample-bt-leaks [1] 来分析

1. https://github.com/openresty/stapxx#sample-bt-leaks

--

0312birdzhang

你好，我也是这么认为的，不应该存在这个问题，但是发现问题确实就是不释放，一个下载文件多大然后buffer就少多少

stapxx暂时没装上，linux内核没utrace patch

在 2016年7月14日星期四 UTC+8下午10:41:08，doujiang写道：

Hello

在 2016年7月14日下午3:55，Zhang Bird <0312bi...@gmail.com>写道：
Hi,all

我想利用openresty+mysql+fastdfs实现fastdfs的下载服务，自己有一张映射表记录uri跟fastdfs field对应关系

现在下载的时候内存很快就占满了，代码如下
local data = "">dfspath) st:set_keepalive(0, 3) ngx.header["Content-MD5"] = filemd5 ngx.header["Last-Modified"] = converUnix2GMT(lastmodified) ngx.header["Content-disposition"] = "filename=" .. filename ngx.say(data)

这里发现data不能自动清理

这个 data 是 Lua 的字符串，是由 GC 管理的，并不存在你说的“不能自动清理”的问题

16G内存很快没了，然后worker退出，求解，谢谢

建议你用 sample-bt-leaks [1] 来分析

1. https://github.com/openresty/stapxx#sample-bt-leaks

--

0312birdzhang

写了一个测试的来区别是不是fastdfs的问题，发现还是lua的问题

function readAll(file)
    local f = io.open(file, "rb")
    local content = f:read("*all")
    f:close()
    return content
end
local data = "">ngx.header["Content-disposition"] = "filename=xxx.apk"
ngx.say(data)

nginx配置

location /test
        {
                content_by_lua_file "/xxx/script/test.lua";
        }

test.txt里面都是 http://192.168.1.201:9092/test
然后用http__load -r 5 -s 60 test.txt 测试（跟测试nginx不在同一台机器），很快内存占满

error.log报错

2016/07/15 11:19:51 [error] 4188#0: *267 lua entry thread aborted: runtime error: /xxx/script/test.lua:9: no memory

在 2016年7月14日星期四 UTC+8下午3:55:16，Zhang Bird写道：

Hi,all

我想利用openresty+mysql+fastdfs实现fastdfs的下载服务，自己有一张映射表记录uri跟fastdfs field对应关系

现在下载的时候内存很快就占满了，代码如下
local data = "">dfspath) st:set_keepalive(0, 3) ngx.header["Content-MD5"] = filemd5 ngx.header["Last-Modified"] = converUnix2GMT(lastmodified) ngx.header["Content-disposition"] = "filename=" .. filename ngx.say(data)

这里发现data不能自动清理，16G内存很快没了，然后worker退出，求解，谢谢

doujiang24

Hello,

在 2016年7月15日上午11:25，Zhang Bird <0312bi...@gmail.com>写道：

写了一个测试的来区别是不是fastdfs的问题，发现还是lua的问题
function readAll(file) local f = io.open(file, "rb") local content = f:read("*all") f:close() return content end local data = "">ngx.header["Content-disposition"] = "filename=xxx.apk" ngx.say(data)

汗，你这是全缓冲的方式

假如你的 gz 文件有 100M，那么 content 这个字符串就有 100M，10个请求过来就一个 G 没了

很明显，你应该流式的处理：读取一个 buf_size 输出一段

nginx配置

location /test { content_by_lua_file "/xxx/script/test.lua"; }

test.txt里面都是 http://192.168.1.201:9092/test
然后用http__load -r 5 -s 60 test.txt 测试（跟测试nginx不在同一台机器），很快内存占满

error.log报错
2016/07/15 11:19:51 [error] 4188#0: *267 lua entry thread aborted: runtime error: /xxx/script/test.lua:9: no memory

在 2016年7月14日星期四 UTC+8下午3:55:16，Zhang Bird写道：
Hi,all

我想利用openresty+mysql+fastdfs实现fastdfs的下载服务，自己有一张映射表记录uri跟fastdfs field对应关系

现在下载的时候内存很快就占满了，代码如下
local data = ""> st:set_keepalive(0, 3) ngx.header["Content-MD5"] = filemd5 ngx.header["Last-Modified"] = converUnix2GMT(lastmodified) ngx.header["Content-disposition"] = "filename=" .. filename ngx.say(data)

这里发现data不能自动清理，16G内存很快没了，然后worker退出，求解，谢谢

--

0312birdzhang

嗯，已经解决了，用rewrite方式然后proxy_pass到fastdfs静态下载上。

多谢 ;)

在 2016年7月15日星期五 UTC+8下午10:15:53，doujiang写道：

Hello,

在 2016年7月15日上午11:25，Zhang Bird <0312bi...@gmail.com>写道：
写了一个测试的来区别是不是fastdfs的问题，发现还是lua的问题
function readAll(file) local f = io.open(file, "rb") local content = f:read("*all") f:close() return content end local data = "">x64.tar.gz")ngx.header["Content-disposition"] = "filename=xxx.apk" ngx.say(data)

汗，你这是全缓冲的方式
假如你的 gz 文件有 100M，那么 content 这个字符串就有 100M，10个请求过来就一个 G 没了

很明显，你应该流式的处理：读取一个 buf_size 输出一段

nginx配置

location /test { content_by_lua_file "/xxx/script/test.lua"; }

test.txt里面都是 http://192.168.1.201:9092/test
然后用http__load -r 5 -s 60 test.txt 测试（跟测试nginx不在同一台机器），很快内存占满

error.log报错
2016/07/15 11:19:51 [error] 4188#0: *267 lua entry thread aborted: runtime error: /xxx/script/test.lua:9: no memory

在 2016年7月14日星期四 UTC+8下午3:55:16，Zhang Bird写道：
Hi,all

我想利用openresty+mysql+fastdfs实现fastdfs的下载服务，自己有一张映射表记录uri跟fastdfs field对应关系

现在下载的时候内存很快就占满了，代码如下
local data = "">dfspath) st:set_keepalive(0, 3) ngx.header["Content-MD5"] = filemd5 ngx.header["Last-Modified"] = converUnix2GMT(lastmodified) ngx.header["Content-disposition"] = "filename=" .. filename ngx.say(data)

这里发现data不能自动清理，16G内存很快没了，然后worker退出，求解，谢谢

--