大神们，请教reason: not enough memory的问题

phpcleps

春哥、各位大神，你们好！

最近我上线了 lua.combo 文件合并后，出现了一些问题，烦请大神们帮忙分析一下，非常感谢！

==== 问题 ====

Nginx日志出现 lua entry thread aborted: memory allocation error: not enough memory

lua atpanic: Lua VM crashed, reason: not enough memory

==== 环境 ====

1、nginx1.4.7 + LuaJIT2.0.2 + ngx_lua_waf（https://github.com/loveshell/ngx_lua_waf）

2、网站的PV：2百万/天

==== 分析 ====

1、如果没有上线lua.combo，Nginx一切正常，不会报错;

2、是不是lua.combo的代码有问题，太占用内存了，才导致这个问题
3、同样的环境，在20W PV/天的网站，没有此类问题

agentzh

Hello!

2014-11-10 22:30 GMT-08:00 deep:
>      ==== 分析 ====
>      1、如果没有上线lua.combo，Nginx一切正常，不会报错;
>      2、是不是lua.combo的代码有问题，太占用内存了，才导致这个问题
>      3、同样的环境，在20W PV/天的网站，没有此类问题
>

你用的这个 combo.lua 库是把所有文件数据全部缓冲到内存里再进行处理的，所以对于较大或者较多的文件很容易超出 LuaJIT
的内存限制。正确的做法是尽量使用流式处理方式，这样无论文件有多少，无论文件有多大，都只使用常量的较小的内存。

特别地，对于流式输出，应当使用 ngx.print() + ngx.flush(true) [1].

Regards,
-agentzh

[1] https://github.com/openresty/lua-nginx-module#ngxflush

phpcleps

感谢春哥，我再优化一下。

在 2014年11月12日星期三UTC+8上午4时27分53秒，agentzh写道：

Hello!

2014-11-10 22:30 GMT-08:00 deep:
> ==== 分析 ====
> 1、如果没有上线lua.combo，Nginx一切正常，不会报错;
> 2、是不是lua.combo的代码有问题，太占用内存了，才导致这个问题
> 3、同样的环境，在20W PV/天的网站，没有此类问题
>

你用的这个 combo.lua 库是把所有文件数据全部缓冲到内存里再进行处理的，所以对于较大或者较多的文件很容易超出 LuaJIT
的内存限制。正确的做法是尽量使用流式处理方式，这样无论文件有多少，无论文件有多大，都只使用常量的较小的内存。

特别地，对于流式输出，应当使用 ngx.print() + ngx.flush(true) [1].

Regards,
-agentzh

[1] https://github.com/openresty/lua-nginx-module#ngxflush

yuting

大家好，

我在使用lua-resty-mysql，如何获得在insert 以后的LAST_INSERT_ID()返回了一个空置

代码如下：

restySql = function(sql,...)

      local res,err,errno,sqlstate = db_conn:query(format(sql,...))
      if not res then
         ngx.say("bad result: ", err, ": ", errno, ": ", sqlstate, ".")
         return
      end
      return res

end

--测试代码

restySql("insert into test values(NULL)")

local res = restySql("select LAST_INSERT_ID()")

res 这里返回了 ""吧

restySql("insert into test values(NULL);select LAST_INSERT_ID();")

这样也返回了 ""

求大神们看看如何获取insert_id 谢谢

smallfish.xy

其实不建议用last_insert_id()获取最后插入id，有时候这个值不是很可靠的（并发多连接，或者多insert操作等等）。

建议根据插入条件反查或者max查询试试，或者自定义主键，而非自增

On Wed Nov 12 2014 at 上午10:31:47 yuting <yu...@sh-tpa.com> wrote:

大家好，

    我在使用lua-resty-mysql，如何获得在insert 以后的LAST_INSERT_ID()返回了一个空置

    代码如下：

    restySql = function(sql,...)

      local res,err,errno,sqlstate = db_conn:query(format(sql,...))
      if not res then
         ngx.say("bad result: ", err, ": ", errno, ": ", sqlstate, ".")
         return
      end
      return res

     end



     --测试代码

     restySql("insert into test values(NULL)")


     local res = restySql("select LAST_INSERT_ID()")

     res 这里返回了 ""吧



     restySql("insert into test values(NULL);select LAST_INSERT_ID();")

     这样也返回了 ""



     求大神们看看如何获取insert_id 谢谢

--

azure1st

res.insert_id是你要的，不用再次查询。
如果返回空请确定你表主键设置了自增，把表结构发出来看看。

2014年11月12日上午10:31于 "yuting" <yu...@sh-tpa.com>写道：

大家好，

    我在使用lua-resty-mysql，如何获得在insert 以后的LAST_INSERT_ID()返回了一个空置

    代码如下：

    restySql = function(sql,...)

      local res,err,errno,sqlstate = db_conn:query(format(sql,...))
      if not res then
         ngx.say("bad result: ", err, ": ", errno, ": ", sqlstate, ".")
         return
      end
      return res

     end



     --测试代码

     restySql("insert into test values(NULL)")


     local res = restySql("select LAST_INSERT_ID()")

     res 这里返回了 ""吧



     restySql("insert into test values(NULL);select LAST_INSERT_ID();")

     这样也返回了 ""



     求大神们看看如何获取insert_id 谢谢

--

yuting

谢谢用max 应该不错那如何知道 into 后的test 表名呢？用字符串挖取么？

2014-11-12

yuting

发件人：smallfish <small...@gmail.com>

发送时间：2014-11-12 10:52

主题：Re: [openresty] lua-resty-mysql 返回LAST_INSERT_ID()

收件人："openresty"<openresty@googlegroups.com>

抄送：

其实不建议用last_insert_id()获取最后插入id，有时候这个值不是很可靠的（并发多连接，或者多insert操作等等）。

建议根据插入条件反查或者max查询试试，或者自定义主键，而非自增

On Wed Nov 12 2014 at 上午10:31:47 yuting <yu...@sh-tpa.com> wrote:

大家好，

    我在使用lua-resty-mysql，如何获得在insert 以后的LAST_INSERT_ID()返回了一个空置

    代码如下：

    restySql = function(sql,...)

      local res,err,errno,sqlstate = db_conn:query(format(sql,...))
      if not res then
         ngx.say("bad result: ", err, ": ", errno, ": ", sqlstate, ".")
         return
      end
      return res

     end



     --测试代码

     restySql("insert into test values(NULL)")


     local res = restySql("select LAST_INSERT_ID()")

     res 这里返回了 ""吧



     restySql("insert into test values(NULL);select LAST_INSERT_ID();")

     这样也返回了 ""



     求大神们看看如何获取insert_id 谢谢

--

yuting

这个表就这样

2014-11-12

yuting

发件人：azure wang <azu...@gmail.com>

发送时间：2014-11-12 10:52

主题：Re: [openresty] lua-resty-mysql 返回LAST_INSERT_ID()

收件人："openresty"<openresty@googlegroups.com>

抄送：

res.insert_id是你要的，不用再次查询。
如果返回空请确定你表主键设置了自增，把表结构发出来看看。

2014年11月12日上午10:31于 "yuting" <yu...@sh-tpa.com>写道：

大家好，

    我在使用lua-resty-mysql，如何获得在insert 以后的LAST_INSERT_ID()返回了一个空置

    代码如下：

    restySql = function(sql,...)

      local res,err,errno,sqlstate = db_conn:query(format(sql,...))
      if not res then
         ngx.say("bad result: ", err, ": ", errno, ": ", sqlstate, ".")
         return
      end
      return res

     end



     --测试代码

     restySql("insert into test values(NULL)")


     local res = restySql("select LAST_INSERT_ID()")

     res 这里返回了 ""吧



     restySql("insert into test values(NULL);select LAST_INSERT_ID();")

     这样也返回了 ""



     求大神们看看如何获取insert_id 谢谢

--

yuting

OK了谢谢直接用了 insert_id

2014-11-12

yuting

发件人："yuting" <yu...@sh-tpa.com>

发送时间：2014-11-12 10:55

主题：回复: Re: [openresty] lua-resty-mysql 返回LAST_INSERT_ID()

收件人："openresty"<openresty@googlegroups.com>

抄送：

谢谢用max 应该不错那如何知道 into 后的test 表名呢？用字符串挖取么？

2014-11-12

yuting

发件人：smallfish <small...@gmail.com>

发送时间：2014-11-12 10:52

主题：Re: [openresty] lua-resty-mysql 返回LAST_INSERT_ID()

收件人："openresty"<openresty@googlegroups.com>

抄送：

其实不建议用last_insert_id()获取最后插入id，有时候这个值不是很可靠的（并发多连接，或者多insert操作等等）。

建议根据插入条件反查或者max查询试试，或者自定义主键，而非自增

On Wed Nov 12 2014 at 上午10:31:47 yuting <yu...@sh-tpa.com> wrote:

大家好，

    我在使用lua-resty-mysql，如何获得在insert 以后的LAST_INSERT_ID()返回了一个空置

    代码如下：

    restySql = function(sql,...)

      local res,err,errno,sqlstate = db_conn:query(format(sql,...))
      if not res then
         ngx.say("bad result: ", err, ": ", errno, ": ", sqlstate, ".")
         return
      end
      return res

     end



     --测试代码

     restySql("insert into test values(NULL)")


     local res = restySql("select LAST_INSERT_ID()")

     res 这里返回了 ""吧



     restySql("insert into test values(NULL);select LAST_INSERT_ID();")

     这样也返回了 ""



     求大神们看看如何获取insert_id 谢谢

--

yuting

大家好，

新手问题多，大家别介意哈。

    init = function()local function mysql_connect(options)
    -- ini mysql
    local mysql = require "resty.mysql"
    -- create sql object
    local db, err = mysql:new()
    if not db then error("failed to instantiate mysql: " .. err) end
    -- set 1 second timeout for suqsequent operations
    db:set_timeout("1000")
    -- connect to db
    local db_options = {
        host = options.host,
        port = options.port,
        database = options.database,
        user = options.user,
        password = options.password,
        max_packet_size = max_packet_size
    }
    local ok, err, errno, sqlstate = db:connect(db_options)
    if not ok then error("failed to connect to mysql: " .. err .. ": " .. errno .. " " .. sqlstate) end
    return db
end

      local options = {
      host = "10.10.10.240",
      port = 3306,
      database = "todo",
      user = "root",
      password = "root",
      max_packet_size = 1024 * 1024 }

      db_conn = mysql_connect(options)
     return db_conn
   end

这个init 方法是否 = open ?

db_conn: close() 这个有了

每次关闭连接后都需要这个 init()么？

yuting

OK 了 db:connect() 是open 谢谢

2014-11-12

yuting

发件人："yuting" <yu...@sh-tpa.com>

发送时间：2014-11-12 11:20

主题：[openresty] lua-resty-mysql 的 open close

收件人："openresty"<openresty@googlegroups.com>

抄送：

大家好，

新手问题多，大家别介意哈。

      db_conn = mysql_connect(options)
     return db_conn
   end

这个init 方法是否 = open ?

db_conn: close() 这个有了

每次关闭连接后都需要这个 init()么？

agentzh

Hello!

On Tue, Nov 11, 2014 at 7:20 PM, yuting wrote:
>     init = function()local function mysql_connect(options)
>     -- ini mysql
>     local mysql = require "resty.mysql"

require 语句应当移到最外层作用域，不应放在热代码路径上。

>     db:set_timeout("1000")

这里应当使用数值 1000 而不是字符串 "1000"，否则会引入额外的字符串转换为数值的开销。

>    db_conn: close() 这个有了
>

close() 方法会关闭 mysql 连接，建议总是使用 set_keepalive() 方法将连接放入连接池复用。

Regards,
-agentzh

phpcleps

春哥，如果采用流式处理，那就用不了gzip，这就麻烦了。

在 2014年11月12日星期三UTC+8上午4时27分53秒，agentzh写道：

Hello!

2014-11-10 22:30 GMT-08:00 deep:
> ==== 分析 ====
> 1、如果没有上线lua.combo，Nginx一切正常，不会报错;
> 2、是不是lua.combo的代码有问题，太占用内存了，才导致这个问题
> 3、同样的环境，在20W PV/天的网站，没有此类问题
>

你用的这个 combo.lua 库是把所有文件数据全部缓冲到内存里再进行处理的，所以对于较大或者较多的文件很容易超出 LuaJIT
的内存限制。正确的做法是尽量使用流式处理方式，这样无论文件有多少，无论文件有多大，都只使用常量的较小的内存。

特别地，对于流式输出，应当使用 ngx.print() + ngx.flush(true) [1].

Regards,
-agentzh

[1] https://github.com/openresty/lua-nginx-module#ngxflush

agentzh

Hello!

2014-11-11 22:15 GMT-08:00 deep:
> 春哥，如果采用流式处理，那就用不了gzip，这就麻烦了。
>

gzip 压缩和解压都支持流式处理。我不太明白你这里的因果关系。

Regards,
-agentzh

phpcleps

谢谢春哥的回复，我再说明一下。

场景：

** 会员请求时 **

（1）缓存文件不存在/文件更新了，则读取所有文件内容，合并后写入缓存文件

（2）文件没有更新，则直接读取缓存文件

问题：

1、因为要写入缓存文件，所以要全部缓冲到内存。

我想的方案：放入ngx.shared.DICT

2、读取缓存文件时（最大的文件为400K），有点大；

我想的方案：优化fileRead函数，使用流式输出，我修改后（代码如下）：
我请求页面后，发现一直在转..等了十几秒，内容才出来，当我把nginx的gzip设为off后，一下子就出来了。

     while true do
        local lines, rest = f:read(BUFSIZE, "*line")
        if not lines then break end
        ngx.print(lines)
        ngx.flush(true)
     end  

在 2014年11月12日星期三UTC+8下午2时15分48秒，deep写道：

春哥，如果采用流式处理，那就用不了gzip，这就麻烦了。

在 2014年11月12日星期三UTC+8上午4时27分53秒，agentzh写道：
Hello!

2014-11-10 22:30 GMT-08:00 deep:
> ==== 分析 ====
> 1、如果没有上线lua.combo，Nginx一切正常，不会报错;
> 2、是不是lua.combo的代码有问题，太占用内存了，才导致这个问题
> 3、同样的环境，在20W PV/天的网站，没有此类问题
>

你用的这个 combo.lua 库是把所有文件数据全部缓冲到内存里再进行处理的，所以对于较大或者较多的文件很容易超出 LuaJIT
的内存限制。正确的做法是尽量使用流式处理方式，这样无论文件有多少，无论文件有多大，都只使用常量的较小的内存。

特别地，对于流式输出，应当使用 ngx.print() + ngx.flush(true) [1].

Regards,
-agentzh

[1] https://github.com/openresty/lua-nginx-module#ngxflush

agentzh

Hello!

2014-11-11 22:31 GMT-08:00 deep:
>       我请求页面后，发现一直在转..等了十几秒，内容才出来，当我把nginx的gzip设为off后，一下子就出来了。
>

看起来你撞到了 ngx_gzip 模块和 ngx_lua 模块一起工作时的已知问题。请确保你使用的是最新版本的 OpenResty
1.7.4.1 *或者*你使用的是 git 仓库里最新的 ngx_lua 模块。

Regards,
-agentzh

phpcleps

感謝春哥的回复，我的nginx1.4.7，ngx_lua是0.9.12。我升级一下nginx。

在 2014年11月13日星期四UTC+8上午4时09分48秒，agentzh写道：

Hello!

2014-11-11 22:31 GMT-08:00 deep:
> 我请求页面后，发现一直在转..等了十几秒，内容才出来，当我把nginx的gzip设为off后，一下子就出来了。
>

看起来你撞到了 ngx_gzip 模块和 ngx_lua 模块一起工作时的已知问题。请确保你使用的是最新版本的 OpenResty
1.7.4.1 *或者*你使用的是 git 仓库里最新的 ngx_lua 模块。

Regards,
-agentzh

phpcleps

非常感谢春哥，升级后，icombo 可以实现流式输出了。

在 2014年11月13日星期四UTC+8上午4时09分48秒，agentzh写道：

Hello!

2014-11-11 22:31 GMT-08:00 deep:
> 我请求页面后，发现一直在转..等了十几秒，内容才出来，当我把nginx的gzip设为off后，一下子就出来了。
>

看起来你撞到了 ngx_gzip 模块和 ngx_lua 模块一起工作时的已知问题。请确保你使用的是最新版本的 OpenResty
1.7.4.1 *或者*你使用的是 git 仓库里最新的 ngx_lua 模块。

Regards,
-agentzh