mysql 连接池问题

shuo616 · 2016-07-26T17:20:36+00:00

句柄泄漏的问题？在 2016年7月27日星期三 UTC+8下午3:04:49...

mysql 连接池问题

shuo616

火焰图

https://dl.dropboxusercontent.com/u/58150131/flame2.svg

源码

https://github.com/shuo616/hdfv2/blob/278d5225a600213c53a44a4d68dc4d9e29312670/api/libs/db/mysql/query.lua

请教下高手

明明在mysql调用结束后设置了keepalive 但是仍然有大量的connect，我是按照官方wiki的例子改写的哪里出了问题？

shuo616

刚刚发现errorlog里有很多日志

2016/07/26 17:01:38 [info] 1686#0: *11840128 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)

2016/07/26 17:01:38 [info] 1686#0: *11848441 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)

2016/07/26 17:01:38 [info] 1686#0: *11839620 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)

2016/07/26 17:01:38 [info] 1686#0: *11846865 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)

2016/07/26 17:01:38 [info] 1686#0: *11831443 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)

2016/07/26 17:01:38 [info] 1686#0: *11851183 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)

2016/07/26 17:01:38 [info] 1686#0: *11834113 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)

在 2016年7月26日星期二 UTC+8下午5:20:36，shuo616写道：

火焰图
https://dl.dropboxusercontent.com/u/58150131/flame2.svg
源码
https://github.com/shuo616/hdfv2/blob/278d5225a600213c53a44a4d68dc4d9e29312670/api/libs/db/mysql/query.lua
请教下高手
明明在mysql调用结束后设置了keepalive 但是仍然有大量的connect，我是按照官方wiki的例子改写的哪里出了问题？

yuansheng

代码的这里，是有问题的：

https://github.com/shuo616/hdfv2/blob/278d5225a600213c53a44a4d68dc4d9e29312670/api/libs/db/mysql/query.lua#L218

	if not raw_result then
	_alive(self)
	self:raise_err(err)
	elseif empty(raw_result) then
	return {}, _alive(self)
	end

这里的错误主要集中在，对于异常的连接，应直接 close 或丢弃处理。可以参考官方代码 return 处理方法： https://github.com/openresty/lua-resty-mysql

                local res, err, errcode, sqlstate =
                    db:query("drop table if exists cats")
                if not res then
                    ngx.say("bad result: ", err, ": ", errcode, ": ", sqlstate, ".")  
                    return  -- 这里直接 return 掉了
                end

其他引用 _alive 的地方，都有类似问题。

长连接使用中，要注意一条规则：只有健康的链路才能返回连接池中，任何异常的链路都应该丢弃（可控范围的 timeout 有时候要额外考虑）。

2016-07-26 18:06 GMT+08:00 shuo616 <shu...@gmail.com>:

刚刚发现errorlog里有很多日志
2016/07/26 17:01:38 [info] 1686#0: *11840128 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11848441 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11839620 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11846865 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11831443 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11851183 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11834113 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)

在 2016年7月26日星期二 UTC+8下午5:20:36，shuo616写道：
火焰图
https://dl.dropboxusercontent.com/u/58150131/flame2.svg
源码
https://github.com/shuo616/hdfv2/blob/278d5225a600213c53a44a4d68dc4d9e29312670/api/libs/db/mysql/query.lua
请教下高手
明明在mysql调用结束后设置了keepalive 但是仍然有大量的connect，我是按照官方wiki的例子改写的哪里出了问题？

--

YuanSheng Wang

---------------------------------------

My Github: https://github.com/membphis

OpenResty lover ^_^

shuo616

非常感谢回复！

我按照您说的方法 close掉非正常的链接但貌似问题依旧

同时我尝试修改连接池数量至200，并降低ab测试时的并发数为100

这是新的火焰图

https://dl.dropboxusercontent.com/u/58150131/flame3.svg

在 2016年7月26日星期二 UTC+8下午8:34:00，YuanSheng写道：

代码的这里，是有问题的：
https://github.com/shuo616/hdfv2/blob/278d5225a600213c53a44a4d68dc4d9e29312670/api/libs/db/mysql/query.lua#L218

if not raw_result then
_alive(self)
self:raise_err(err)
elseif empty(raw_result) then
return {}, _alive(self)
end

这里的错误主要集中在，对于异常的连接，应直接 close 或丢弃处理。可以参考官方代码 return 处理方法： https://github.com/openresty/lua-resty-mysql
                local res, err, errcode, sqlstate =
                    db:query("drop table if exists cats")
                if not res then
                    ngx.say("bad result: ", err, ": ", errcode, ": ", sqlstate, ".")  
                    return  -- 这里直接 return 掉了
                end
其他引用 _alive 的地方，都有类似问题。

长连接使用中，要注意一条规则：只有健康的链路才能返回连接池中，任何异常的链路都应该丢弃（可控范围的 timeout 有时候要额外考虑）。
2016-07-26 18:06 GMT+08:00 shuo616 <shu...@gmail.com>:
刚刚发现errorlog里有很多日志
2016/07/26 17:01:38 [info] 1686#0: *11840128 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11848441 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11839620 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11846865 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11831443 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11851183 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)
2016/07/26 17:01:38 [info] 1686#0: *11834113 client 10.44.36.155 closed keepalive connection (104: Connection reset by peer)

在 2016年7月26日星期二 UTC+8下午5:20:36，shuo616写道：
火焰图
https://dl.dropboxusercontent.com/u/58150131/flame2.svg
源码
https://github.com/shuo616/hdfv2/blob/278d5225a600213c53a44a4d68dc4d9e29312670/api/libs/db/mysql/query.lua
请教下高手
明明在mysql调用结束后设置了keepalive 但是仍然有大量的connect，我是按照官方wiki的例子改写的哪里出了问题？

--

--

YuanSheng Wang
---------------------------------------
My Github: https://github.com/membphis
OpenResty lover ^_^

shuo616

额。。问题已经解决了原因是我在nginx.conf

content_by_lua_block {

local path = "hdfv2.api.modules." .. ngx.ctx.module_id .. "." .. ngx.ctx.controller_id .. "_controller"

local debug = require "hdfv2.api.libs.debug"

local matched_controller = require(path)

local controller = matched_controller:new()

ngx.say(controller[ngx.ctx.action_id](controller))

ngx.exit(0) -- 主动关闭了连接

}

这个错误犯的太low了深刻反省中。。

在 2016年7月26日星期二 UTC+8下午5:20:36，shuo616写道：

火焰图
https://dl.dropboxusercontent.com/u/58150131/flame2.svg
源码
https://github.com/shuo616/hdfv2/blob/278d5225a600213c53a44a4d68dc4d9e29312670/api/libs/db/mysql/query.lua
请教下高手
明明在mysql调用结束后设置了keepalive 但是仍然有大量的connect，我是按照官方wiki的例子改写的哪里出了问题？