lua_shared_dict 配合resty.lock 出现内存不够的情况

leehomewl · 2015-12-11T11:42:51+00:00

能否给个参考？在 2015年12月11日星期五 UTC+8下午8:37:23&#xFF0C...

lua_shared_dict 配合resty.lock 出现内存不够的情况

leehomewl

hi: 请教个问题：

我们在用 resty.lock 结合 lua_shared_dict 做缓存层。

在压测中发现了如下的报错：

2015/12/10 04:52:17 [crit] 27554#0: ngx_slab_alloc() failed: no memory

2015/12/10 04:53:15 [crit] 27554#0: ngx_slab_alloc() failed: no memory

问题是我从redis取出来的数据只有几个字节，但是我声明的时候是100k ： lua_shared_dict my_locks 100k;

报错的次数不多，大概50万次请求出现了 8次。

是因为在缓存过期的时候，大量的锁申请导致的内存不足吗？

下面是核心代码：

local lock_c = {}

local lock_cf = require "lock_cache_config"

local resty_lock = require "resty.lock"

local lock = resty_lock:new("my_locks", lock_cf)

local cache = ngx.shared.share_mem

function lock_c.get(key, dynamic_fun_hash, params_obj, exp_time)

local value = cache:get(key)

if value then

return value

end

local elapsed, err = lock:lock(key)

if not elapsed then

return nil

end

value = cache:get(key)

if value then

lock:unlock()

return value

end

value = dynamic_fun_hash.get_data(params_obj)

if value then

cache:set(key, value, exp_time)

end

lock:unlock()

return value

end

return lock_c

leehomewl

我自己又想了想，估计是

local resty_lock = require "resty.lock"

local lock = resty_lock:new("my_locks", lock_cf)

这2句在位置没对，应该是在下面的这块代码下面跟着写才对了，这样内存就应该好了。是这样吗

function lock_c.get(key, dynamic_fun_hash, params_obj, exp_time)

local value = cache:get(key)

if value then

return value

end

在 2015年12月11日星期五 UTC+8上午11:42:51，王力写道：

hi: 请教个问题：
我们在用 resty.lock 结合 lua_shared_dict 做缓存层。
在压测中发现了如下的报错：

2015/12/10 04:52:17 [crit] 27554#0: ngx_slab_alloc() failed: no memory
2015/12/10 04:53:15 [crit] 27554#0: ngx_slab_alloc() failed: no memory

问题是我从redis取出来的数据只有几个字节，但是我声明的时候是100k ： lua_shared_dict my_locks 100k;
报错的次数不多，大概50万次请求出现了 8次。
是因为在缓存过期的时候，大量的锁申请导致的内存不足吗？

下面是核心代码：

local lock_c = {}

local lock_cf = require "lock_cache_config"

local resty_lock = require "resty.lock"
local lock = resty_lock:new("my_locks", lock_cf)

local cache = ngx.shared.share_mem

function lock_c.get(key, dynamic_fun_hash, params_obj, exp_time)
local value = cache:get(key)
if value then
return value
end

local elapsed, err = lock:lock(key)
if not elapsed then
return nil
end

value = cache:get(key)
if value then
lock:unlock()
return value
end

value = dynamic_fun_hash.get_data(params_obj)
if value then
cache:set(key, value, exp_time)
end
lock:unlock()
return value
end

return lock_c

doujiang24

Hello,

在 2015年12月11日上午11:42，王力 <leeh...@gmail.com>写道：

hi: 请教个问题：
我们在用 resty.lock 结合 lua_shared_dict 做缓存层。
在压测中发现了如下的报错：

2015/12/10 04:52:17 [crit] 27554#0: ngx_slab_alloc() failed: no memory
2015/12/10 04:53:15 [crit] 27554#0: ngx_slab_alloc() failed: no memory

你是否还有其他使用到了共享内存的模块呢？

我简单查了下代码，lua_shared_dict 并不会开启这个记录，具体可以见：（没有测试验证，欢迎指正）

https://github.com/openresty/lua-nginx-module/blob/master/src/ngx_http_lua_shdict.c#L104

https://github.com/nginx/nginx/blob/master/src/core/ngx_slab.c#L695

问题是我从redis取出来的数据只有几个字节，但是我声明的时候是100k ： lua_shared_dict my_locks 100k;

一般而言，lua_shared_dict 配置稍微大一点也无所谓，并不是一启动就会真的申请内存的

所以，你可以放心调大你的内存配置来排除问题

个人习惯，1M 起步，哈哈

local lock_c = {}

local lock_cf = require "lock_cache_config"

local resty_lock = require "resty.lock"
local lock = resty_lock:new("my_locks", lock_cf)

正如你所说，这个 lock 并不能全局共享

如果 lock 成功，没有 unlock 之前，再次调用 lock 是会返回 nil, "locked"

文档： https://github.com/openresty/lua-resty-lock#lock

local cache = ngx.shared.share_mem

function lock_c.get(key, dynamic_fun_hash, params_obj, exp_time)
local value = cache:get(key)
if value then
return value
end

local elapsed, err = lock:lock(key)
if not elapsed then
return nil
end

value = cache:get(key)
if value then
lock:unlock()
return value
end

value = dynamic_fun_hash.get_data(params_obj)
if value then
cache:set(key, value, exp_time)
end
lock:unlock()
return value
end

return lock_c

--