lua entry thread aborted:memory allocation error:not enough memory

jiazm2016 · 2016-08-29T21:26:56+00:00

server { listen 84 reuseport; set $ups "default"; set...

lua entry thread aborted:memory allocation error:not enough memory

jiazm2016

我参考了春哥的https://github.com/openresty/lua-resty-upload，进行文件的上传，发现当上传的文件太大时，比如40M，就抛出lua entry thread aborted:memory allocation error:not enough memory的错误。我的代码如下：

function _M:uploadfile(filepath)

local form, err = upload:new(chunk_size)

if not form then

ngx.log(ngx.ERR, "failed to new upload: ", err)

return false

end

form:set_timeout(timeOut) --1s

local appender = ''

local uploader, res = s3:new(aws_accesskey, aws_secretkey, chatvoc_bucket, timeOut, region, cdn_s3_endpoint)

if not uploader then

ngx.log(ngx.ERR, "s3 new failure:", res)

return false

end

local url, object_err, filename

local n=1

while true do

local typ, res, err = form:read()

if not typ then

ngx.log(ngx.ERR,"failed to read: ", err)

return false

end

if typ == "header" then

ngx.log(ngx.NOTICE, "header: ", json.encode(res))

content_type = res[2]

ngx.log(ngx.NOTICE, "content_type: ", content_type)

if content_type then

start_upload = true

end

local inputFile = [[name="input"]]

if res[1]=='Content-Disposition' and ngx.re.find(res[2] or '',inputFile) then

data_upload = true

end

elseif typ == "body" then

if start_upload == true and res then

appender = appender..res

end

if data_upload == true and res then

data_upload = false

end

elseif typ == "part_end" then

if appender ~= '' then

local data_len = string.len(appender)

ngx.log(ngx.NOTICE,"start to upload ", content_type, " len=" , data_len)

if data_len>20 then

filename = ngx.md5(appender)

print("upload file md5===="..filename)

url, object_err = uploader:upload(appender, content_type, filepath..filename)

if url then

local show = json.encode({status="0"; url = "">

ngx.log(ngx.NOTICE, "success : ", show)

else

ngx.log(ngx.ERR,"request return : ", object_err)

return false

end

else

local reason = " body too short " .. content_type

ngx.log(ngx.NOTICE, reason)

return false

end

appender = ''

start_upload = false

end

elseif typ == "eof" then

break

end

return true, url, filename

end

agentzh

Hello!

On Mon, Aug 29, 2016 at 6:26 AM,  jiazm2016 wrote:
>             if start_upload == true and res then
>                 appender = appender..res

在一个循环里面使用 .. 来连接拼接字符串是典型的错误用法，因为内存占用会达到 O(n^2)。Lua 字符串在实现上是只读的。

你应当使用流式处理的方式，即避免在 Lua 空间里面全缓冲整个请求体，即接收一块，处理一块，发送一块（无论是保存到文件系统，还是通过
cosocket 发送给后端服务），这样用固定的内存大小，可以处理理论上无限长的数据流，效率也要高很多。如果你一定要在 Lua
空间里面缓冲整个请求体，也应该使用 Lua table 来搜集所有的数据片段，（可以最后通过 table.concat
来生成最后的大字符串），而不是用 .. 来不断地拼接。

Regards,
-agentzh

jiazm2016

非常感谢春哥的回复，目前我使用lua table，在lua空间里缓冲请求体，解决了这个问题。

新增一个StringBuffer的类（类比java）代码如下：

local _M = {_VERSION = '0.01'}

local mt = { __index = _M }

function _M:new()

return setmetatable({""},mt)

end

function _M:append(value)

table.insert(self,value)

local size = table.getn(self)

for i = (size -1) ,1,-1 do

if string.len(self[i]) > string.len(self[i+1]) then

break

end

self[i] = self[i] .. table.remove(self)

end

function _M:toString()

return table.concat(self)

end

return _M

至于流式处理的方式，还在研究，目前还在考虑增加断点续传（上传）的功能

在 2016年8月30日上午2:21，Yichun Zhang (agentzh) <age...@gmail.com>写道：

Hello!

On Mon, Aug 29, 2016 at 6:26 AM, jiazm2016 wrote:
> if start_upload == true and res then
> appender = appender..res

在一个循环里面使用 .. 来连接拼接字符串是典型的错误用法，因为内存占用会达到 O(n^2)。Lua 字符串在实现上是只读的。

你应当使用流式处理的方式，即避免在 Lua 空间里面全缓冲整个请求体，即接收一块，处理一块，发送一块（无论是保存到文件系统，还是通过
cosocket 发送给后端服务），这样用固定的内存大小，可以处理理论上无限长的数据流，效率也要高很多。如果你一定要在 Lua
空间里面缓冲整个请求体，也应该使用 Lua table 来搜集所有的数据片段，（可以最后通过 table.concat
来生成最后的大字符串），而不是用 .. 来不断地拼接。

Regards,
-agentzh

--

agentzh

Hello!

2016-08-30 1:25 GMT-07:00 贾志猛:
>         self[i] = self[i] .. table.remove(self)

你犯了常见的错误。你的这一行是高代价操作，每次会创建一个新的 Lua string，同时多一个 Lua string 需要回收。应该使用
Lua table 来搜索 string 片段。最后再一次性地通过 table.concat() 来生成最终的字符串（或者直接把 table
作为参数喂给 ngx.print 和 sock:send 这样的函数，连最后一步 table.concat 的开销都可以省了）。

这是 Lua 编程基本功哦。

Regards,
-agentzh

jiazm2016

再次感谢春哥，小弟确实刚接触lua。用..的方式连接字符串确实是高代价操作。每次连接字符串使用table.insert(str)，最后一次性通过table.concat()来生成最终的字符串即可。

在 2016年8月31日上午7:09，Yichun Zhang (agentzh) <age...@gmail.com>写道：

Hello!

2016-08-30 1:25 GMT-07:00 贾志猛:
> self[i] = self[i] .. table.remove(self)

你犯了常见的错误。你的这一行是高代价操作，每次会创建一个新的 Lua string，同时多一个 Lua string 需要回收。应该使用
Lua table 来搜索 string 片段。最后再一次性地通过 table.concat() 来生成最终的字符串（或者直接把 table
作为参数喂给 ngx.print 和 sock:send 这样的函数，连最后一步 table.concat 的开销都可以省了）。

这是 Lua 编程基本功哦。

Regards,
-agentzh

--

doujiang24

Hello

在 2016年8月31日下午9:05，贾志猛 <jiaz...@gmail.com>写道：

再次感谢春哥，小弟确实刚接触lua。用..的方式连接字符串确实是高代价操作。每次连接字符串使用table.insert(str)

table.insert 也是 O(n) 操作

效率更高的是，自己维护一个变量（每次加一） table[n] = str 这样来赋值

（当然，如果不要求那么高性能也无所谓了）

最后一次性通过table.concat()来生成最终的字符串即可。

如果你生成字符串，最终是通过 cosocket 来发送

那么也不需要在 Lua 里拼接字符串了，直接 sock:send(table) 就好

在 2016年8月31日上午7:09，Yichun Zhang (agentzh) <age...@gmail.com>写道：
Hello!

2016-08-30 1:25 GMT-07:00 贾志猛:
> self[i] = self[i] .. table.remove(self)

你犯了常见的错误。你的这一行是高代价操作，每次会创建一个新的 Lua string，同时多一个 Lua string 需要回收。应该使用
Lua table 来搜索 string 片段。最后再一次性地通过 table.concat() 来生成最终的字符串（或者直接把 table
作为参数喂给 ngx.print 和 sock:send 这样的函数，连最后一步 table.concat 的开销都可以省了）。

这是 Lua 编程基本功哦。

Regards,
-agentzh

--

--