lrucache存储table时长度并发过高，导致redis写入数据包过大，同时还会出现cjson.encode解析时内存错误

ttlovephp · 2016-09-23T13:25:39+00:00

Hello! 2016-09-22 19:56 GMT-07:00 Ming: > 这个功能我们已经实现了，在&#x516C...

lrucache存储table时长度并发过高，导致redis写入数据包过大，同时还会出现cjson.encode解析时内存错误

ttlovephp

hi,春哥各位openresty使用者，我现在有这个一个业务场景问题想指教下，我页面每请求一次的时候就会往redis里面rpush一条数据，这样redis客户端连接数据数会巨大，现在我想使用您提供的这个lrucache，将数据存在缓存在一个key中，等到10条或者更多条的数据再去连接redis,将数据推入redis进行处理减少redis客户端连接数。但是现在线上环境并发量巨大，我每次插入数据时都会判断数组长度，我记录日志发现长度会远远大于我设置的值（10条或者多条），然后push到redis里面的包也会有好几M，同时cjson里面的encode方法也会提示内存报错（应该是缓存里面的长度太大导致），请问下现在有没有好的解决方案？或者能够加锁解决呢（lua-resty-lock这个模块只针对初始化数据字典 ngx.shared.DICT有效）？

代码逻辑我贴出来大家帮我指正下下：

local json = require "cjson.safe"

local lrucache = require "resty.lrucache"

-- openresty内存

local c = lrucache.new(10)

if not c then

return error("failed to create the cache: " .. (err or "unknown"))

end

local function writeToRedis(data)

--将数据写入redis

end

-- data 是一个组装好的数据table {0={}}

local function test(data)

-- 1.查询缓存长度

local lcache = c:get('test_key') or {}

-- 单条记录插入缓存

if table.getn(data) == 1 then

table.insert(lcache, data[1])

c:set('test_key', lcache)

else

-- 数据大于1条时直接写入redis

local res = writeToRedis(data)

-- 将数据写入redis

if not res then

return nil

end

return true

end

-- 2.从缓存获取长度

local lcachelen = table.getn(lcache)

ngx.log(ngx.INFO, 'cache length is :' .. lcachelen) -- 日志记录中发现这个长度远远大于10（我在本地压测时能够达到4,5千的长度）

if lcachelen >= 10 then

local cacheData = json.encode(lcache) --这个解析时也会出现内存错误

if not cacheData then

ngx.log(ngx.ERR, 'cache value is nil:' .. cacheData)

return nil

end

local res = writeToRedis(cacheData)

-- 将数据写入redis

if not res then

return nil

end

--数据打入成功后，删除缓存

c:delete('test_key')

end

return true

end

moonbingbing

writeToRedis 里面有用到连接池吗？一个请求一个 redis 连接，这种方法肯定不行。

就算你缓存也是不靠谱的，NGINX 出问题或者机器宕机，数据就丢失了。

在 2016年9月23日下午1:25，teng liu <ttlo...@gmail.com>写道：

hi,春哥各位openresty使用者，我现在有这个一个业务场景问题想指教下，我页面每请求一次的时候就会往redis里面rpush一条数据，这样redis客户端连接数据数会巨大，现在我想使用您提供的这个lrucache，将数据存在缓存在一个key中，等到10条或者更多条的数据再去连接redis,将数据推入redis进行处理减少redis客户端连接数。但是现在线上环境并发量巨大，我每次插入数据时都会判断数组长度，我记录日志发现长度会远远大于我设置的值（10条或者多条），然后push到redis里面的包也会有好几M，同时cjson里面的encode方法也会提示内存报错（应该是缓存里面的长度太大导致），请问下现在有没有好的解决方案？或者能够加锁解决呢（lua-resty-lock这个模块只针对初始化数据字典 ngx.shared.DICT有效）？
代码逻辑我贴出来大家帮我指正下下：
local json = require "cjson.safe"
local lrucache = require "resty.lrucache"
-- openresty内存
local c = lrucache.new(10)
if not c then
return error("failed to create the cache: " .. (err or "unknown"))
end

local function writeToRedis(data)
--将数据写入redis
end

-- data 是一个组装好的数据table {0={}}
local function test(data)
-- 1.查询缓存长度
local lcache = c:get('test_key') or {}
-- 单条记录插入缓存
if table.getn(data) == 1 then
table.insert(lcache, data[1])
c:set('test_key', lcache)
else
-- 数据大于1条时直接写入redis
local res = writeToRedis(data)
-- 将数据写入redis
if not res then
return nil
end
return true

end

-- 2.从缓存获取长度
local lcachelen = table.getn(lcache)
ngx.log(ngx.INFO, 'cache length is :' .. lcachelen) -- 日志记录中发现这个长度远远大于10（我在本地压测时能够达到4,5千的长度）
if lcachelen >= 10 then
local cacheData = json.encode(lcache) --这个解析时也会出现内存错误
if not cacheData then
ngx.log(ngx.ERR, 'cache value is nil:' .. cacheData)
return nil
end
local res = writeToRedis(cacheData)
-- 将数据写入redis
if not res then
return nil
end
--数据打入成功后，删除缓存
c:delete('test_key')
end

return true
end

--

ttlovephp

有用到redis长连接的，现在的情况是redis连接数并不高最高1K，只是redis客户端的连接数比较高，而且我用lrucache来存储数据，并发情况下无法正常统计table长度（应该是没加锁），导致达到预定长度时无法及时写入redis中。我想问下碰到这种业务场景，你们一般怎么处理呢（把浏览器多次请求的数据累计到一定长度在插入到redis中，减少redis客户端连接数）？

在 2016年9月23日星期五 UTC+8下午2:26:54，WenMing写道：

writeToRedis 里面有用到连接池吗？一个请求一个 redis 连接，这种方法肯定不行。
就算你缓存也是不靠谱的，NGINX 出问题或者机器宕机，数据就丢失了。

在 2016年9月23日下午1:25，teng liu <ttlo...@gmail.com>写道：
hi,春哥各位openresty使用者，我现在有这个一个业务场景问题想指教下，我页面每请求一次的时候就会往redis里面rpush一条数据，这样redis客户端连接数据数会巨大，现在我想使用您提供的这个lrucache，将数据存在缓存在一个key中，等到10条或者更多条的数据再去连接redis,将数据推入redis进行处理减少redis客户端连接数。但是现在线上环境并发量巨大，我每次插入数据时都会判断数组长度，我记录日志发现长度会远远大于我设置的值（10条或者多条），然后push到redis里面的包也会有好几M，同时cjson里面的encode方法也会提示内存报错（应该是缓存里面的长度太大导致），请问下现在有没有好的解决方案？或者能够加锁解决呢（lua-resty-lock这个模块只针对初始化数据字典 ngx.shared.DICT有效）？
代码逻辑我贴出来大家帮我指正下下：
local json = require "cjson.safe"
local lrucache = require "resty.lrucache"
-- openresty内存
local c = lrucache.new(10)
if not c then
return error("failed to create the cache: " .. (err or "unknown"))
end

local function writeToRedis(data)
--将数据写入redis
end

-- data 是一个组装好的数据table {0={}}
local function test(data)
-- 1.查询缓存长度
local lcache = c:get('test_key') or {}
-- 单条记录插入缓存
if table.getn(data) == 1 then
table.insert(lcache, data[1])
c:set('test_key', lcache)
else
-- 数据大于1条时直接写入redis
local res = writeToRedis(data)
-- 将数据写入redis
if not res then
return nil
end
return true

end

-- 2.从缓存获取长度
local lcachelen = table.getn(lcache)
ngx.log(ngx.INFO, 'cache length is :' .. lcachelen) -- 日志记录中发现这个长度远远大于10（我在本地压测时能够达到4,5千的长度）
if lcachelen >= 10 then
local cacheData = json.encode(lcache) --这个解析时也会出现内存错误
if not cacheData then
ngx.log(ngx.ERR, 'cache value is nil:' .. cacheData)
return nil
end
local res = writeToRedis(cacheData)
-- 将数据写入redis
if not res then
return nil
end
--数据打入成功后，删除缓存
c:delete('test_key')
end

return true
end

--

lancelijade

感觉这里不应该用lrucache

1. 我觉得直接写 redis 应该能搞定，“只是redis客户端的连接数比较高”这句话我不理解
2. 你可以试试用 share.DICT 的队列，然后另外起n个thread读队列，读到n条后写 redis。share.DICT 的队列性能我没测过，不知道实际怎么样。

Lance

2016-09-23 14:44 GMT+08:00 teng liu <ttlo...@gmail.com>:

有用到redis长连接的，现在的情况是redis连接数并不高最高1K，只是redis客户端的连接数比较高，而且我用lrucache来存储数据，并发情况下无法正常统计table长度（应该是没加锁），导致达到预定长度时无法及时写入redis中。我想问下碰到这种业务场景，你们一般怎么处理呢（把浏览器多次请求的数据累计到一定长度在插入到redis中，减少redis客户端连接数）？

在 2016年9月23日星期五 UTC+8下午2:26:54，WenMing写道：
writeToRedis 里面有用到连接池吗？一个请求一个 redis 连接，这种方法肯定不行。
就算你缓存也是不靠谱的，NGINX 出问题或者机器宕机，数据就丢失了。

在 2016年9月23日下午1:25，teng liu <ttlo...@gmail.com>写道：
hi,春哥各位openresty使用者，我现在有这个一个业务场景问题想指教下，我页面每请求一次的时候就会往redis里面rpush一条数据，这样redis客户端连接数据数会巨大，现在我想使用您提供的这个lrucache，将数据存在缓存在一个key中，等到10条或者更多条的数据再去连接redis,将数据推入redis进行处理减少redis客户端连接数。但是现在线上环境并发量巨大，我每次插入数据时都会判断数组长度，我记录日志发现长度会远远大于我设置的值（10条或者多条），然后push到redis里面的包也会有好几M，同时cjson里面的encode方法也会提示内存报错（应该是缓存里面的长度太大导致），请问下现在有没有好的解决方案？或者能够加锁解决呢（lua-resty-lock这个模块只针对初始化数据字典 ngx.shared.DICT有效）？
代码逻辑我贴出来大家帮我指正下下：
local json = require "cjson.safe"
local lrucache = require "resty.lrucache"
-- openresty内存
local c = lrucache.new(10)
if not c then
return error("failed to create the cache: " .. (err or "unknown"))
end

local function writeToRedis(data)
--将数据写入redis
end

-- data 是一个组装好的数据table {0={}}
local function test(data)
-- 1.查询缓存长度
local lcache = c:get('test_key') or {}
-- 单条记录插入缓存
if table.getn(data) == 1 then
table.insert(lcache, data[1])
c:set('test_key', lcache)
else
-- 数据大于1条时直接写入redis
local res = writeToRedis(data)
-- 将数据写入redis
if not res then
return nil
end
return true

end

-- 2.从缓存获取长度
local lcachelen = table.getn(lcache)
ngx.log(ngx.INFO, 'cache length is :' .. lcachelen) -- 日志记录中发现这个长度远远大于10（我在本地压测时能够达到4,5千的长度）
if lcachelen >= 10 then
local cacheData = json.encode(lcache) --这个解析时也会出现内存错误
if not cacheData then
ngx.log(ngx.ERR, 'cache value is nil:' .. cacheData)
return nil
end
local res = writeToRedis(cacheData)
-- 将数据写入redis
if not res then
return nil
end
--数据打入成功后，删除缓存
c:delete('test_key')
end

return true
end

--

--

ttlovephp

1.可以直接理解为redis的连接数过高，我用了myredis类库，设置的长连接数为100，24个worker就是2400个长连接数，你们一般设置为多少呢？现在线上连接数经常大于1W

2.ngx.shared.DICT这个是所有worker数据共享的，感觉不是很适用与我的这个需求，要是同时并发请求的话这个缓存里面的数据会被覆盖吗？

在 2016年9月23日星期五 UTC+8下午3:40:17，Lance Li写道：

感觉这里不应该用lrucache

1. 我觉得直接写 redis 应该能搞定，“只是redis客户端的连接数比较高”这句话我不理解
2. 你可以试试用 share.DICT 的队列，然后另外起n个thread读队列，读到n条后写 redis。share.DICT 的队列性能我没测过，不知道实际怎么样。

Lance

2016-09-23 14:44 GMT+08:00 teng liu <ttlo...@gmail.com>:
有用到redis长连接的，现在的情况是redis连接数并不高最高1K，只是redis客户端的连接数比较高，而且我用lrucache来存储数据，并发情况下无法正常统计table长度（应该是没加锁），导致达到预定长度时无法及时写入redis中。我想问下碰到这种业务场景，你们一般怎么处理呢（把浏览器多次请求的数据累计到一定长度在插入到redis中，减少redis客户端连接数）？

在 2016年9月23日星期五 UTC+8下午2:26:54，WenMing写道：
writeToRedis 里面有用到连接池吗？一个请求一个 redis 连接，这种方法肯定不行。
就算你缓存也是不靠谱的，NGINX 出问题或者机器宕机，数据就丢失了。

在 2016年9月23日下午1:25，teng liu <ttlo...@gmail.com>写道：
hi,春哥各位openresty使用者，我现在有这个一个业务场景问题想指教下，我页面每请求一次的时候就会往redis里面rpush一条数据，这样redis客户端连接数据数会巨大，现在我想使用您提供的这个lrucache，将数据存在缓存在一个key中，等到10条或者更多条的数据再去连接redis,将数据推入redis进行处理减少redis客户端连接数。但是现在线上环境并发量巨大，我每次插入数据时都会判断数组长度，我记录日志发现长度会远远大于我设置的值（10条或者多条），然后push到redis里面的包也会有好几M，同时cjson里面的encode方法也会提示内存报错（应该是缓存里面的长度太大导致），请问下现在有没有好的解决方案？或者能够加锁解决呢（lua-resty-lock这个模块只针对初始化数据字典 ngx.shared.DICT有效）？
代码逻辑我贴出来大家帮我指正下下：
local json = require "cjson.safe"
local lrucache = require "resty.lrucache"
-- openresty内存
local c = lrucache.new(10)
if not c then
return error("failed to create the cache: " .. (err or "unknown"))
end

local function writeToRedis(data)
--将数据写入redis
end

-- data 是一个组装好的数据table {0={}}
local function test(data)
-- 1.查询缓存长度
local lcache = c:get('test_key') or {}
-- 单条记录插入缓存
if table.getn(data) == 1 then
table.insert(lcache, data[1])
c:set('test_key', lcache)
else
-- 数据大于1条时直接写入redis
local res = writeToRedis(data)
-- 将数据写入redis
if not res then
return nil
end
return true

end

-- 2.从缓存获取长度
local lcachelen = table.getn(lcache)
ngx.log(ngx.INFO, 'cache length is :' .. lcachelen) -- 日志记录中发现这个长度远远大于10（我在本地压测时能够达到4,5千的长度）
if lcachelen >= 10 then
local cacheData = json.encode(lcache) --这个解析时也会出现内存错误
if not cacheData then
ngx.log(ngx.ERR, 'cache value is nil:' .. cacheData)
return nil
end
local res = writeToRedis(cacheData)
-- 将数据写入redis
if not res then
return nil
end
--数据打入成功后，删除缓存
c:delete('test_key')
end

return true
end

--

--

lancelijade

1.大于10000说明你的并发量大，你可以把长连接数加多，100是最小值
2.用最新版里的队列特性，怎么会覆盖

Lance

2016-09-26 14:54 GMT+08:00 teng liu <ttlo...@gmail.com>:

1.可以直接理解为redis的连接数过高，我用了myredis类库，设置的长连接数为100，24个worker就是2400个长连接数，你们一般设置为多少呢？现在线上连接数经常大于1W
2.ngx.shared.DICT这个是所有worker数据共享的，感觉不是很适用与我的这个需求，要是同时并发请求的话这个缓存里面的数据会被覆盖吗？

在 2016年9月23日星期五 UTC+8下午3:40:17，Lance Li写道：
感觉这里不应该用lrucache

1. 我觉得直接写 redis 应该能搞定，“只是redis客户端的连接数比较高”这句话我不理解
2. 你可以试试用 share.DICT 的队列，然后另外起n个thread读队列，读到n条后写 redis。share.DICT 的队列性能我没测过，不知道实际怎么样。

Lance

2016-09-23 14:44 GMT+08:00 teng liu <ttlo...@gmail.com>:
有用到redis长连接的，现在的情况是redis连接数并不高最高1K，只是redis客户端的连接数比较高，而且我用lrucache来存储数据，并发情况下无法正常统计table长度（应该是没加锁），导致达到预定长度时无法及时写入redis中。我想问下碰到这种业务场景，你们一般怎么处理呢（把浏览器多次请求的数据累计到一定长度在插入到redis中，减少redis客户端连接数）？

在 2016年9月23日星期五 UTC+8下午2:26:54，WenMing写道：
writeToRedis 里面有用到连接池吗？一个请求一个 redis 连接，这种方法肯定不行。
就算你缓存也是不靠谱的，NGINX 出问题或者机器宕机，数据就丢失了。

在 2016年9月23日下午1:25，teng liu <ttlo...@gmail.com>写道：
hi,春哥各位openresty使用者，我现在有这个一个业务场景问题想指教下，我页面每请求一次的时候就会往redis里面rpush一条数据，这样redis客户端连接数据数会巨大，现在我想使用您提供的这个lrucache，将数据存在缓存在一个key中，等到10条或者更多条的数据再去连接redis,将数据推入redis进行处理减少redis客户端连接数。但是现在线上环境并发量巨大，我每次插入数据时都会判断数组长度，我记录日志发现长度会远远大于我设置的值（10条或者多条），然后push到redis里面的包也会有好几M，同时cjson里面的encode方法也会提示内存报错（应该是缓存里面的长度太大导致），请问下现在有没有好的解决方案？或者能够加锁解决呢（lua-resty-lock这个模块只针对初始化数据字典 ngx.shared.DICT有效）？
代码逻辑我贴出来大家帮我指正下下：
local json = require "cjson.safe"
local lrucache = require "resty.lrucache"
-- openresty内存
local c = lrucache.new(10)
if not c then
return error("failed to create the cache: " .. (err or "unknown"))
end

local function writeToRedis(data)
--将数据写入redis
end

-- data 是一个组装好的数据table {0={}}
local function test(data)
-- 1.查询缓存长度
local lcache = c:get('test_key') or {}
-- 单条记录插入缓存
if table.getn(data) == 1 then
table.insert(lcache, data[1])
c:set('test_key', lcache)
else
-- 数据大于1条时直接写入redis
local res = writeToRedis(data)
-- 将数据写入redis
if not res then
return nil
end
return true

end

-- 2.从缓存获取长度
local lcachelen = table.getn(lcache)
ngx.log(ngx.INFO, 'cache length is :' .. lcachelen) -- 日志记录中发现这个长度远远大于10（我在本地压测时能够达到4,5千的长度）
if lcachelen >= 10 then
local cacheData = json.encode(lcache) --这个解析时也会出现内存错误
if not cacheData then
ngx.log(ngx.ERR, 'cache value is nil:' .. cacheData)
return nil
end
local res = writeToRedis(cacheData)
-- 将数据写入redis
if not res then
return nil
end
--数据打入成功后，删除缓存
c:delete('test_key')
end

return true
end

--

--

--