3000链接协程ngx.push(false) 持续写大数据会造成内存持续增长

zhou123er

如题，请问有什么方法可以解决这个问题

zhou123er

数据小的时候不会出现

在 2017年5月25日星期四 UTC+8上午10:17:51，周舟写道：

如题，请问有什么方法可以解决这个问题

spacewanderlzx

ngx.push 貌似在不是 OpenResty 标准库里面的？
如果能提供最小化重现案例就更好了

在 2017年5月25日星期四 UTC+8上午10:17:51，周舟写道：

如题，请问有什么方法可以解决这个问题

zhou123er

ok, err = sema:wait(SEMA_TIMEOUT)

if ok then

tc = 0

local res = usr_sem_set[4]

if res then

local ok, err = print(res)

if not ok then

log(ngx.ERROR, "PRINT ERR:"..err)

--return ngx.exit(444)

end

ngx.flush()

上面的大概就是最小用例了

在 2017年5月26日星期五 UTC+8下午7:13:59，Zexuan Luo写道：

ngx.push 貌似在不是 OpenResty 标准库里面的？
如果能提供最小化重现案例就更好了

在 2017年5月25日星期四 UTC+8上午10:17:51，周舟写道：
如题，请问有什么方法可以解决这个问题

spacewanderlzx

这个用例还是缺了些东西……

协程里跑的是什么呢？还是说协程里面的逻辑跟内存持续增长无关？
另外 usr_sem_set 跟协程，还有 semaphore 之间是什么关系？
ngx.push 到底是什么？
依然还是有很多搞不懂的地方，没办法下判断呢。

在 2017年5月27日下午4:06，周舟 <zhou...@gmail.com>写道：

ok, err = sema:wait(SEMA_TIMEOUT)
if ok then
tc = 0
local res = usr_sem_set[4]
if res then
local ok, err = print(res)
if not ok then
log(ngx.ERROR, "PRINT ERR:"..err)
--return ngx.exit(444)
end
ngx.flush()
上面的大概就是最小用例了

在 2017年5月26日星期五 UTC+8下午7:13:59，Zexuan Luo写道：
ngx.push 貌似在不是 OpenResty 标准库里面的？
如果能提供最小化重现案例就更好了

在 2017年5月25日星期四 UTC+8上午10:17:51，周舟写道：
如题，请问有什么方法可以解决这个问题

--

zhou123er

不是push 是flush吧还有 usr_sem_set 是一个全局的table 的一个用户的订阅数据 usr_sem_set[4]是输出数据
在 2017年5月27日星期六 UTC+8下午5:01:13，Zexuan Luo写道：

这个用例还是缺了些东西……
协程里跑的是什么呢？还是说协程里面的逻辑跟内存持续增长无关？
另外 usr_sem_set 跟协程，还有 semaphore 之间是什么关系？
ngx.push 到底是什么？
依然还是有很多搞不懂的地方，没办法下判断呢。

在 2017年5月27日下午4:06，周舟 <zhou...@gmail.com>写道：
ok, err = sema:wait(SEMA_TIMEOUT)
if ok then
tc = 0
local res = usr_sem_set[4]
if res then
local ok, err = print(res)
if not ok then
log(ngx.ERROR, "PRINT ERR:"..err)
--return ngx.exit(444)
end
ngx.flush()
上面的大概就是最小用例了

在 2017年5月26日星期五 UTC+8下午7:13:59，Zexuan Luo写道：
ngx.push 貌似在不是 OpenResty 标准库里面的？
如果能提供最小化重现案例就更好了

在 2017年5月25日星期四 UTC+8上午10:17:51，周舟写道：
如题，请问有什么方法可以解决这个问题

--

spacewanderlzx

试了如下的用例，没有观察到 res 内存出于高位不降低的情况。是不是还缺少些东西?

local semaphore = require "ngx.semaphore"
local sema = semaphore.new()
local SEMA_TIMEOUT = 1
local usr_sem_set = {}

local function handler()
    for _ = 1, 10 do
        ngx.sleep(0.1)
        sema:post()
        usr_sem_set[1] = "data\n"
    end
end
ngx.thread.spawn(handler)
ngx.header['Content-Type'] = 'text/event-stream'

for _ = 1, 10 do
    local ok, err = sema:wait(SEMA_TIMEOUT)
    if not ok then
        ngx.log(ngx.ERR, err)
    else
        local res = usr_sem_set[1]
        if res then
            local ok, err = ngx.print(res)
            if not ok then
                ngx.log(ngx.ERR, "PRINT ERR:"..err)
                --return ngx.exit(444)
            end
            ngx.flush()
        end
    end
end

在 2017年5月28日星期日 UTC+8上午11:32:11，周舟写道：

不是push 是flush吧还有 usr_sem_set 是一个全局的table 的一个用户的订阅数据 usr_sem_set[4]是输出数据
在 2017年5月27日星期六 UTC+8下午5:01:13，Zexuan Luo写道：
这个用例还是缺了些东西……
协程里跑的是什么呢？还是说协程里面的逻辑跟内存持续增长无关？
另外 usr_sem_set 跟协程，还有 semaphore 之间是什么关系？
ngx.push 到底是什么？
依然还是有很多搞不懂的地方，没办法下判断呢。

在 2017年5月27日下午4:06，周舟 <zhou...@gmail.com>写道：
ok, err = sema:wait(SEMA_TIMEOUT)
if ok then
tc = 0
local res = usr_sem_set[4]
if res then
local ok, err = print(res)
if not ok then
log(ngx.ERROR, "PRINT ERR:"..err)
--return ngx.exit(444)
end
ngx.flush()
上面的大概就是最小用例了

在 2017年5月26日星期五 UTC+8下午7:13:59，Zexuan Luo写道：
ngx.push 貌似在不是 OpenResty 标准库里面的？
如果能提供最小化重现案例就更好了

在 2017年5月25日星期四 UTC+8上午10:17:51，周舟写道：
如题，请问有什么方法可以解决这个问题

--

zhou123er

试试吧数据长度调大再把循环时间延长
在 2017年5月28日星期日 UTC+8下午10:19:59，Zexuan Luo写道：

试了如下的用例，没有观察到 res 内存出于高位不降低的情况。是不是还缺少些东西?
local semaphore = require "ngx.semaphore" local sema = semaphore.new() local SEMA_TIMEOUT = 1 local usr_sem_set = {} local function handler() for _ = 1, 10 do ngx.sleep(0.1) sema:post() usr_sem_set[1] = "data\n" end end ngx.thread.spawn(handler) ngx.header['Content-Type'] = 'text/event-stream' for _ = 1, 10 do local ok, err = sema:wait(SEMA_TIMEOUT) if not ok then ngx.log(ngx.ERR, err) else local res = usr_sem_set[1] if res then local ok, err = ngx.print(res) if not ok then ngx.log(ngx.ERR, "PRINT ERR:"..err) --return ngx.exit(444) end ngx.flush() end end end

在 2017年5月28日星期日 UTC+8上午11:32:11，周舟写道：
不是push 是flush吧还有 usr_sem_set 是一个全局的table 的一个用户的订阅数据 usr_sem_set[4]是输出数据
在 2017年5月27日星期六 UTC+8下午5:01:13，Zexuan Luo写道：
这个用例还是缺了些东西……
协程里跑的是什么呢？还是说协程里面的逻辑跟内存持续增长无关？
另外 usr_sem_set 跟协程，还有 semaphore 之间是什么关系？
ngx.push 到底是什么？
依然还是有很多搞不懂的地方，没办法下判断呢。

在 2017年5月27日下午4:06，周舟 <zhou...@gmail.com>写道：
ok, err = sema:wait(SEMA_TIMEOUT)
if ok then
tc = 0
local res = usr_sem_set[4]
if res then
local ok, err = print(res)
if not ok then
log(ngx.ERROR, "PRINT ERR:"..err)
--return ngx.exit(444)
end
ngx.flush()
上面的大概就是最小用例了

在 2017年5月26日星期五 UTC+8下午7:13:59，Zexuan Luo写道：
ngx.push 貌似在不是 OpenResty 标准库里面的？
如果能提供最小化重现案例就更好了

在 2017年5月25日星期四 UTC+8上午10:17:51，周舟写道：
如题，请问有什么方法可以解决这个问题

--

spacewanderlzx

把 for _ = 1, 10 变成 for _ = 1, 50，把 data 变成 ("data"):rep(32)，依然观察不到

在 2017年5月29日上午9:29，周舟 <zhou...@gmail.com>写道：

试试吧数据长度调大再把循环时间延长
在 2017年5月28日星期日 UTC+8下午10:19:59，Zexuan Luo写道：
试了如下的用例，没有观察到 res 内存出于高位不降低的情况。是不是还缺少些东西?
local semaphore = require "ngx.semaphore" local sema = semaphore.new() local SEMA_TIMEOUT = 1 local usr_sem_set = {} local function handler() for _ = 1, 10 do ngx.sleep(0.1) sema:post() usr_sem_set[1] = "data\n" end end ngx.thread.spawn(handler) ngx.header['Content-Type'] = 'text/event-stream' for _ = 1, 10 do local ok, err = sema:wait(SEMA_TIMEOUT) if not ok then ngx.log(ngx.ERR, err) else local res = usr_sem_set[1] if res then local ok, err = ngx.print(res) if not ok then ngx.log(ngx.ERR, "PRINT ERR:"..err) --return ngx.exit(444) end ngx.flush() end end end

在 2017年5月28日星期日 UTC+8上午11:32:11，周舟写道：
不是push 是flush吧还有 usr_sem_set 是一个全局的table 的一个用户的订阅数据 usr_sem_set[4]是输出数据
在 2017年5月27日星期六 UTC+8下午5:01:13，Zexuan Luo写道：
这个用例还是缺了些东西……
协程里跑的是什么呢？还是说协程里面的逻辑跟内存持续增长无关？
另外 usr_sem_set 跟协程，还有 semaphore 之间是什么关系？
ngx.push 到底是什么？
依然还是有很多搞不懂的地方，没办法下判断呢。

在 2017年5月27日下午4:06，周舟 <zhou...@gmail.com>写道：
ok, err = sema:wait(SEMA_TIMEOUT)
if ok then
tc = 0
local res = usr_sem_set[4]
if res then
local ok, err = print(res)
if not ok then
log(ngx.ERROR, "PRINT ERR:"..err)
--return ngx.exit(444)
end
ngx.flush()
上面的大概就是最小用例了

在 2017年5月26日星期五 UTC+8下午7:13:59，Zexuan Luo写道：
ngx.push 貌似在不是 OpenResty 标准库里面的？
如果能提供最小化重现案例就更好了

在 2017年5月25日星期四 UTC+8上午10:17:51，周舟写道：
如题，请问有什么方法可以解决这个问题

--

--