shared.dict数据不同步疑问

retsubasa · 2017-09-11T15:49:21+00:00

从发送方的角度看，OpenResty 的 json 处理默认用的是 cjso...

shared.dict数据不同步疑问

retsubasa

hi：

在nginx.conf中配置API方式：

location ~ ^/api/([-_a-zA-Z0-9/]+){

content_by_lua_file lua/api/$1.lua;

}

api通过一个lua函数向shared_dict更新数据：

local function method_get( args )

local succ,err,force = iplist:set(ip,code,exp)

end

现在发生的的问题：

1.nginx低负载情况下，没有问题

2.nginx高负载情况下，虽然succ返回true，但是再次获取iplist内内容时，发现已set的数据，较高概率会丢失。

求指教

spacewanderlzx

我猜是 shdict 满了。
注意如果 shdict 数据满了会通过 LRU 淘汰掉部分数据。所以在设定大小的时候需要预估好。

在 2017年9月11日下午3:49， <rets...@gmail.com>写道：

hi：

在nginx.conf中配置API方式：

location ~ ^/api/([-_a-zA-Z0-9/]+){
content_by_lua_file lua/api/$1.lua;
}

api通过一个lua函数向shared_dict更新数据：

local function method_get( args )
local succ,err,force = iplist:set(ip,code,exp)
end

现在发生的的问题：
1.nginx低负载情况下，没有问题
2.nginx高负载情况下，虽然succ返回true，但是再次获取iplist内内容时，发现已set的数据，较高概率会丢失。

求指教

--

retsubasa

测试了一下，把shared.dict提高了10倍，不是这个原因。测试中继续发现，实际上set到shaed.dict是成功的，（我用add方法测试是否已经写成功）,是get的时候，不能完全遍历到所有内容

在 2017年9月11日星期一 UTC+8下午4:16:28，Zexuan Luo写道：

我猜是 shdict 满了。
注意如果 shdict 数据满了会通过 LRU 淘汰掉部分数据。所以在设定大小的时候需要预估好。

在 2017年9月11日下午3:49， <rets...@gmail.com>写道：
hi：

在nginx.conf中配置API方式：

location ~ ^/api/([-_a-zA-Z0-9/]+){
content_by_lua_file lua/api/$1.lua;
}

api通过一个lua函数向shared_dict更新数据：

local function method_get( args )
local succ,err,force = iplist:set(ip,code,exp)
end

现在发生的的问题：
1.nginx低负载情况下，没有问题
2.nginx高负载情况下，虽然succ返回true，但是再次获取iplist内内容时，发现已set的数据，较高概率会丢失。

求指教

--

zchao1995

你 get 的时候，key 没有过期吧？

On Monday, September 11, 2017 at 4:33:18 PM UTC+8, rets...@gmail.com wrote:

测试了一下，把shared.dict提高了10倍，不是这个原因。测试中继续发现，实际上set到shaed.dict是成功的，（我用add方法测试是否已经写成功）,是get的时候，不能完全遍历到所有内容

在 2017年9月11日星期一 UTC+8下午4:16:28，Zexuan Luo写道：
我猜是 shdict 满了。
注意如果 shdict 数据满了会通过 LRU 淘汰掉部分数据。所以在设定大小的时候需要预估好。

在 2017年9月11日下午3:49， <rets...@gmail.com>写道：
hi：

在nginx.conf中配置API方式：

location ~ ^/api/([-_a-zA-Z0-9/]+){
content_by_lua_file lua/api/$1.lua;
}

api通过一个lua函数向shared_dict更新数据：

local function method_get( args )
local succ,err,force = iplist:set(ip,code,exp)
end

现在发生的的问题：
1.nginx低负载情况下，没有问题
2.nginx高负载情况下，虽然succ返回true，但是再次获取iplist内内容时，发现已set的数据，较高概率会丢失。

求指教

--

retsubasa

设置的expair 为0,不过期。

在 2017年9月11日星期一 UTC+8下午5:00:09，tokers写道：

你 get 的时候，key 没有过期吧？

On Monday, September 11, 2017 at 4:33:18 PM UTC+8, rets...@gmail.com wrote:
测试了一下，把shared.dict提高了10倍，不是这个原因。测试中继续发现，实际上set到shaed.dict是成功的，（我用add方法测试是否已经写成功）,是get的时候，不能完全遍历到所有内容

在 2017年9月11日星期一 UTC+8下午4:16:28，Zexuan Luo写道：
我猜是 shdict 满了。
注意如果 shdict 数据满了会通过 LRU 淘汰掉部分数据。所以在设定大小的时候需要预估好。

在 2017年9月11日下午3:49， <rets...@gmail.com>写道：
hi：

在nginx.conf中配置API方式：

location ~ ^/api/([-_a-zA-Z0-9/]+){
content_by_lua_file lua/api/$1.lua;
}

api通过一个lua函数向shared_dict更新数据：

local function method_get( args )
local succ,err,force = iplist:set(ip,code,exp)
end

现在发生的的问题：
1.nginx低负载情况下，没有问题
2.nginx高负载情况下，虽然succ返回true，但是再次获取iplist内内容时，发现已set的数据，较高概率会丢失。

求指教

--

retsubasa

更新一下问题描述，shared_dict内确实存在有数据，add方法添加同样的key失败，但是get方法获取到的值，多次各不一致，该现象只在连接数较多的情况下发生。nginx空闲时无该问题。

求指教

在 2017年9月11日星期一 UTC+8下午3:49:22，rets...@gmail.com写道：

hi：

在nginx.conf中配置API方式：

location ~ ^/api/([-_a-zA-Z0-9/]+){
content_by_lua_file lua/api/$1.lua;
}

api通过一个lua函数向shared_dict更新数据：

local function method_get( args )
local succ,err,force = iplist:set(ip,code,exp)
end

现在发生的的问题：
1.nginx低负载情况下，没有问题
2.nginx高负载情况下，虽然succ返回true，但是再次获取iplist内内容时，发现已set的数据，较高概率会丢失。

求指教

anjia0532

按照官方文档来看，说是线程安全的.

https://github.com/openresty/lua-nginx-module#ngxshareddict

>All these methods are atomic operations, that is, safe from concurrent accesses from multiple nginx worker processes for the same lua_shared_dict zone.

你可以模拟一下高并发然后试一下官方例子。看看还有无此问题

在 2017年9月11日星期一 UTC+8下午3:49:22，rets...@gmail.com写道：

hi：

在nginx.conf中配置API方式：

location ~ ^/api/([-_a-zA-Z0-9/]+){
content_by_lua_file lua/api/$1.lua;
}

api通过一个lua函数向shared_dict更新数据：

local function method_get( args )
local succ,err,force = iplist:set(ip,code,exp)
end

现在发生的的问题：
1.nginx低负载情况下，没有问题
2.nginx高负载情况下，虽然succ返回true，但是再次获取iplist内内容时，发现已set的数据，较高概率会丢失。

求指教

anjia0532

另外你可以试一下，safe_set，或者safe_add

在 2017年9月11日星期一 UTC+8下午3:49:22，rets...@gmail.com写道：

hi：

在nginx.conf中配置API方式：

location ~ ^/api/([-_a-zA-Z0-9/]+){
content_by_lua_file lua/api/$1.lua;
}

api通过一个lua函数向shared_dict更新数据：

local function method_get( args )
local succ,err,force = iplist:set(ip,code,exp)
end

现在发生的的问题：
1.nginx低负载情况下，没有问题
2.nginx高负载情况下，虽然succ返回true，但是再次获取iplist内内容时，发现已set的数据，较高概率会丢失。

求指教

retsubasa

谢谢回复，今天发现原因了，我有一部分shared.dict内容，没有通过resty的api写入，无法保证线程安全导致。汗。。。文档看得不够仔细

现在只能通过get_keys的方法返回所有key值。

其他还有什么方法可以取出所有shared.dict里的key么

在 2017年9月11日星期一 UTC+8下午11:46:00，赵安家写道：

另外你可以试一下，safe_set，或者safe_add

在 2017年9月11日星期一 UTC+8下午3:49:22，rets...@gmail.com写道：
hi：

在nginx.conf中配置API方式：

location ~ ^/api/([-_a-zA-Z0-9/]+){
content_by_lua_file lua/api/$1.lua;
}

api通过一个lua函数向shared_dict更新数据：

local function method_get( args )
local succ,err,force = iplist:set(ip,code,exp)
end

现在发生的的问题：
1.nginx低负载情况下，没有问题
2.nginx高负载情况下，虽然succ返回true，但是再次获取iplist内内容时，发现已set的数据，较高概率会丢失。

求指教