关于lua-resty-redis以及ngx.socket.tcp 链接池的一些疑问

coldwinner1 · 2017-07-01T20:17:33+00:00

我们mongo+openrestry 一个表多200万数据分页的情况下经&#x5E38...

关于lua-resty-redis以及ngx.socket.tcp 链接池的一些疑问

coldwinner1

大家好, 我在使用lua-resty-redis从redis提取缓存数据, 在进行压力测试时发现与redis建立了巨量链接数.

带着疑问我查看了文档以及源码, red:new的时候会调用ngx.socket.tcp()取得cosocket, 附上部分源码

function _M.new(self){

local sock, err = tcp()

...

return setmetatable({_sock = sock, _subscribe = false},mt);

end

翻了一下maillist依然无法解除我的疑问:

当red创建连接数超出线程池大小的时候, 究竟是不断创建短链接(无上限地增加连接数), 还是会用LRU从cosocket中剔除链接, 放入新链接(有限连接数) ?

coldwinner1

提出该问题的原因是因为每次请求进入到插件时, 都会调用red:new red:connect从ngx.socket.tcp中获取链接, 但是我只知道ngx.socket.tcp创建链接时若连接池已满会使用lru给新链接进入连接池,

提出这个问题的原因是我想了解setkeepalive设置连接池大小是否能控制最终连接到redis的链接数量

zchao1995

1. 确保你使用了 set_keepalive

2. 正如你所说，cosocket 源码里在处理长连接的时候，如果发现连接池满了，会根据 LRU，强制关闭一个连接

On Saturday, July 1, 2017 at 8:17:33 PM UTC+8, Pepper Yan wrote:

大家好, 我在使用lua-resty-redis从redis提取缓存数据, 在进行压力测试时发现与redis建立了巨量链接数.

带着疑问我查看了文档以及源码, red:new的时候会调用ngx.socket.tcp()取得cosocket, 附上部分源码

function _M.new(self){
local sock, err = tcp()
...
return setmetatable({_sock = sock, _subscribe = false},mt);
end

翻了一下maillist依然无法解除我的疑问:
当red创建连接数超出线程池大小的时候, 究竟是不断创建短链接(无上限地增加连接数), 还是会用LRU从cosocket中剔除链接, 放入新链接(有限连接数) ?

coldwinner1

那若是在大并发场景下, 线程池的链接都被占用了, 调用red:new red:connect会继续创建socket, 那会否把链接池的socket删掉?(虽然听起来挺荒谬,但是我还是想确认下)

在 2017年7月2日星期日 UTC+8下午12:40:22，tokers写道：

1. 确保你使用了 set_keepalive
2. 正如你所说，cosocket 源码里在处理长连接的时候，如果发现连接池满了，会根据 LRU，强制关闭一个连接

On Saturday, July 1, 2017 at 8:17:33 PM UTC+8, Pepper Yan wrote:
大家好, 我在使用lua-resty-redis从redis提取缓存数据, 在进行压力测试时发现与redis建立了巨量链接数.

带着疑问我查看了文档以及源码, red:new的时候会调用ngx.socket.tcp()取得cosocket, 附上部分源码

function _M.new(self){
local sock, err = tcp()
...
return setmetatable({_sock = sock, _subscribe = false},mt);
end

翻了一下maillist依然无法解除我的疑问:
当red创建连接数超出线程池大小的时候, 究竟是不断创建短链接(无上限地增加连接数), 还是会用LRU从cosocket中剔除链接, 放入新链接(有限连接数) ?

zchao1995

如果连接池满了，淘汰旧的连接当然会关闭掉连接，释放掉套接字，否则不是造成套接字泄漏了吗？

On Monday, July 3, 2017 at 9:53:13 AM UTC+8, Pepper Yan wrote:

那若是在大并发场景下, 线程池的链接都被占用了, 调用red:new red:connect会继续创建socket, 那会否把链接池的socket删掉?(虽然听起来挺荒谬,但是我还是想确认下)

在 2017年7月2日星期日 UTC+8下午12:40:22，tokers写道：
1. 确保你使用了 set_keepalive
2. 正如你所说，cosocket 源码里在处理长连接的时候，如果发现连接池满了，会根据 LRU，强制关闭一个连接

On Saturday, July 1, 2017 at 8:17:33 PM UTC+8, Pepper Yan wrote:
大家好, 我在使用lua-resty-redis从redis提取缓存数据, 在进行压力测试时发现与redis建立了巨量链接数.

带着疑问我查看了文档以及源码, red:new的时候会调用ngx.socket.tcp()取得cosocket, 附上部分源码

function _M.new(self){
local sock, err = tcp()
...
return setmetatable({_sock = sock, _subscribe = false},mt);
end

翻了一下maillist依然无法解除我的疑问:
当red创建连接数超出线程池大小的时候, 究竟是不断创建短链接(无上限地增加连接数), 还是会用LRU从cosocket中剔除链接, 放入新链接(有限连接数) ?

qleex001

1. 连接池的大小不会影响最大连接数量

2. 连接池存放的是空闲的连接，不是正在使用的连接。连接只有在手动调用setkeepalive时才会放入连接池。

在 2017年7月1日星期六 UTC+8下午8:27:14，Pepper Yan写道：

提出该问题的原因是因为每次请求进入到插件时, 都会调用red:new red:connect从ngx.socket.tcp中获取链接, 但是我只知道ngx.socket.tcp创建链接时若连接池已满会使用lru给新链接进入连接池,

提出这个问题的原因是我想了解setkeepalive设置连接池大小是否能控制最终连接到redis的链接数量

soul11201

在 2017年7月3日上午10:26，FQ Liu <qle...@gmail.com>写道：

接池的大小不会影响最大连接数量

正解 +1

-----

http://blog.soul11201.com

zchao1995

正解 + 2，😆，理解错意思了

On Monday, July 3, 2017 at 10:26:06 AM UTC+8, FQ Liu wrote:

1. 连接池的大小不会影响最大连接数量
2. 连接池存放的是空闲的连接，不是正在使用的连接。连接只有在手动调用setkeepalive时才会放入连接池。

在 2017年7月1日星期六 UTC+8下午8:27:14，Pepper Yan写道：
提出该问题的原因是因为每次请求进入到插件时, 都会调用red:new red:connect从ngx.socket.tcp中获取链接, 但是我只知道ngx.socket.tcp创建链接时若连接池已满会使用lru给新链接进入连接池,

提出这个问题的原因是我想了解setkeepalive设置连接池大小是否能控制最终连接到redis的链接数量