resty/memcached.lua请教

huangx · 2012-08-17T11:24:11+00:00

Hello! 2012/8/15 307413083 wrote: > 我现在使用OpenResty，想使用lua 输出文...

resty/memcached.lua请教

huangx

章亦春导师，您好：

由于工作原因，我现在进行nginx模块开发，从而了解到openresty，对你开源精神深表佩服，通过你的官网学习了很多知识，在此深表感谢！

最近做一个项目，需要使用lua+memcached连接池，用到了 https://github.com/agentzh/lua-resty-memcached/blob/master/lib/resty/memcached.lua模块，

我希望memcached的连接池类似数据库连接池一样，保持固定数量的长连接

完全拷贝了网站上面的例子，

        content_by_lua '
            local memcached = require "resty.memcached"
            local memc, err = memcached:new()
            if not memc then
                ngx.say("failed to instantiate memc: ", err)
                return
            end

            memc:set_timeout(1000) -- 1 sec

            -- or connect to a unix domain socket file listened
            -- by a memcached server:
            --     local ok, err = memc:connect("unix:/path/to/memc.sock")

            local ok, err = memc:connect("127.0.0.1", 11211)
            if not ok then
                ngx.say("failed to connect: ", err)
                return
            end
          
            -- put it into the connection pool of size 100,
            -- with 0 idle timeout
            memc:set_keepalive(0, 100)

但是在使用过程中，设置了 keepalive=100，但是在进行压力测试的过程中，memcached连接数还是猛增，不确定是我对该keepalive的理解不正确，还是用法不正确，请指点。

[root@thx logs]# netstat -pnt|grep 12101|wc

603 4221 65727

tcp 0 0 192.168.4.26:54142 192.168.52.79:12101 TIME_WAIT -

tcp 0 0 192.168.4.26:53825 192.168.52.79:12101 TIME_WAIT -

tcp 0 0 192.168.4.26:53904 192.168.52.79:12101 TIME_WAIT -

tcp 0 0 192.168.4.26:53898 192.168.52.79:12101 TIME_WAIT -

tcp 0 0 192.168.4.26:54457 192.168.52.79:12101 TIME_WAIT -

tcp 0 0 192.168.4.26:54700 192.168.52.79:12101 TIME_WAIT -

tcp 0 0 192.168.4.26:54120 192.168.52.79:12101 TIME_WAIT -

tcp 0 0 192.168.4.26:54151 192.168.52.79:12101 TIME_WAIT -

至此！

敬礼！

2012-08-17

moonbingbing

连接池的大小是对每一个nginx worker而言的。如果你有N个worker，最多就会有N * pool_size 个连接。

文档中有： You can specify the max idle timeout (in ms) when the connection is in the pool and the maximal size of the pool every nginx worker process.

2012/8/17 huangx <hu...@ufida.com>

章亦春导师，您好：



               由于工作原因，我现在进行nginx模块开发，从而了解到openresty，对你开源精神深表佩服，通过你的官网学习了很多知识，在此深表感谢！



               最近做一个项目，需要使用lua+memcached连接池，用到了 https://github.com/agentzh/lua-resty-memcached/blob/master/lib/resty/memcached.lua模块，

               我希望memcached的连接池类似数据库连接池一样，保持固定数量的长连接

               完全拷贝了网站上面的例子，

content_by_lua ' local memcached = require "resty.memcached" local memc, err = memcached:new() if not memc then ngx.say("failed to instantiate memc: ", err) return end memc:set_timeout(1000) -- 1 sec -- or connect to a unix domain socket file listened -- by a memcached server: -- local ok, err = memc:connect("unix:/path/to/memc.sock") local ok, err = memc:connect("127.0.0.1", 11211) if not ok then ngx.say("failed to connect: ", err) return end -- put it into the connection pool of size 100, -- with 0 idle timeout memc:set_keepalive(0, 100)

                  但是在使用过程中，设置了 keepalive=100，但是在进行压力测试的过程中，memcached连接数还是猛增，不确定是我对该keepalive的理解不正确，还是用法不正确，请指点。

                  [root@thx logs]# netstat -pnt|grep 12101|wc

                                          603    4221   65727

                    tcp        0      0 192.168.4.26:54142          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53825          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53904          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53898          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54457          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54700          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54120          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54151          192.168.52.79:12101         TIME_WAIT   -

         至此！

       敬礼！
2012-08-17

huangx

你好，我nginx的配置 worker_processes 1;

我反馈的意思是，当请求数过大超过了连接池的处理能力时候场景{

设置keepalive=100，开始启动时候是0连接

来一个请求，获取一个socket，完成请求后，socket<100时候，就把socket放到池子里。

每当新请求来的时候，去池子里面获取socket，如果获取不到就创建新连接，完成请求后，新连接的数量如果超过设置的keepalive值就不放池子里面了，

}

不知道我这么理解是否正确？

2012-08-17

发件人： Wayne

发送时间： 2012-08-17 15:44:34

收件人： openresty

抄送：

主题： Re: [openresty] resty/memcached.lua请教

连接池的大小是对每一个nginx worker而言的。如果你有N个worker，最多就会有N * pool_size 个连接。

文档中有： You can specify the max idle timeout (in ms) when the connection is in the pool and the maximal size of the pool every nginx worker process.

2012/8/17 huangx <hu...@ufida.com>

章亦春导师，您好：



               由于工作原因，我现在进行nginx模块开发，从而了解到openresty，对你开源精神深表佩服，通过你的官网学习了很多知识，在此深表感谢！



               最近做一个项目，需要使用lua+memcached连接池，用到了 https://github.com/agentzh/lua-resty-memcached/blob/master/lib/resty/memcached.lua模块，

               我希望memcached的连接池类似数据库连接池一样，保持固定数量的长连接

               完全拷贝了网站上面的例子，

content_by_lua ' local memcached = require "resty.memcached" local memc, err = memcached:new() if not memc then ngx.say("failed to instantiate memc: ", err) return end memc:set_timeout(1000) -- 1 sec -- or connect to a unix domain socket file listened -- by a memcached server: -- local ok, err = memc:connect("unix:/path/to/memc.sock") local ok, err = memc:connect("127.0.0.1", 11211) if not ok then ngx.say("failed to connect: ", err) return end -- put it into the connection pool of size 100, -- with 0 idle timeout memc:set_keepalive(0, 100)

                  但是在使用过程中，设置了 keepalive=100，但是在进行压力测试的过程中，memcached连接数还是猛增，不确定是我对该keepalive的理解不正确，还是用法不正确，请指点。

                  [root@thx logs]# netstat -pnt|grep 12101|wc

                                          603    4221   65727

                    tcp        0      0 192.168.4.26:54142          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53825          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53904          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53898          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54457          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54700          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54120          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54151          192.168.52.79:12101         TIME_WAIT   -

         至此！

       敬礼！
2012-08-17

yaoweibin

On 2012/8/17 16:22, huangx wrote:

你好，我nginx的配置 worker_processes 1;

我反馈的意思是，当请求数过大超过了连接池的处理能力时候场景{

设置keepalive=100，开始启动时候是0连接

来一个请求，获取一个socket，完成请求后，socket<100时候，就把socket放到池子里。

每当新请求来的时候，去池子里面获取socket，如果获取不到就创建新连接，完成请求后，新连接的数量如果超过设置的keepalive值就不放池子里面了，

}

不知道我这么理解是否正确？

是这样的。像你的场景，应该是所需求的并发连接数大大超过了连接池的容量，所以会产生很多的短连接，建议增加连接池的大小。

2012-08-17

发件人： Wayne

发送时间： 2012-08-17 15:44:34

收件人： openresty

抄送：

主题： Re: [openresty] resty/memcached.lua请教
连接池的大小是对每一个nginx worker而言的。如果你有N个worker，最多就会有N * pool_size 个连接。
文档中有： You can specify the max idle timeout (in ms) when the connection is in the pool and the maximal size of the pool every nginx worker process.

2012/8/17 huangx <hu...@ufida.com>

章亦春导师，您好：


               由于工作原因，我现在进行nginx模块开发，从而了解到openresty，对你开源精神深表佩服，通过你的官网学习了很多知识，在此深表感谢！



               最近做一个项目，需要使用 lua+memcached连接池，用到了 https://github.com/agentzh/lua-resty-memcached/blob/master/lib/resty/memcached.lua模块，

               我希望memcached的连接池类似数据库连接池一样，保持固定数量的长连接

               完全拷贝了网站上面的例子，

content_by_lua ' local memcached = require "resty.memcached" local memc, err = memcached:new() if not memc then ngx.say("failed to instantiate memc: ", err) return end memc:set_timeout(1000) -- 1 sec -- or connect to a unix domain socket file listened -- by a memcached server: -- local ok, err = memc:connect("unix:/path/to/memc.sock") local ok, err = memc:connect("127.0.0.1", 11211) if not ok then ngx.say("failed to connect: ", err) return end -- put it into the connection pool of size 100, -- with 0 idle timeout memc:set_keepalive(0, 100)

                  但是在使用过程中，设置了 keepalive=100，但是在进行压力测试的过程中，memcached连接数还是猛增，不确定是我对该keepalive的理解不正确，还是用法不正确，请指点。

                  [root@thx logs]# netstat -pnt|grep 12101|wc

                                          603    4221   65727

                    tcp        0      0 192.168.4.26:54142          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53825          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53904          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53898          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54457          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54700          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54120          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54151          192.168.52.79:12101         TIME_WAIT   -

         至此！

       敬礼！

2012-08-17

-- 
Thanks
-YWB

huangx

嗯，明白了，多谢~

2012-08-17

发件人： Weibin Yao

发送时间： 2012-08-17 16:46:59

收件人： openresty

抄送：

主题： Re: [openresty] resty/memcached.lua请教

On 2012/8/17 16:22, huangx wrote:

你好，我nginx的配置 worker_processes 1;

我反馈的意思是，当请求数过大超过了连接池的处理能力时候场景{

设置keepalive=100，开始启动时候是0连接

来一个请求，获取一个socket，完成请求后，socket<100时候，就把socket放到池子里。

每当新请求来的时候，去池子里面获取socket，如果获取不到就创建新连接，完成请求后，新连接的数量如果超过设置的keepalive值就不放池子里面了，

}

不知道我这么理解是否正确？

是这样的。像你的场景，应该是所需求的并发连接数大大超过了连接池的容量，所以会产生很多的短连接，建议增加连接池的大小。

2012-08-17

发件人： Wayne

发送时间： 2012-08-17 15:44:34

收件人： openresty

抄送：

主题： Re: [openresty] resty/memcached.lua请教
连接池的大小是对每一个nginx worker而言的。如果你有N个worker，最多就会有N * pool_size 个连接。
文档中有： You can specify the max idle timeout (in ms) when the connection is in the pool and the maximal size of the pool every nginx worker process.

2012/8/17 huangx <hu...@ufida.com>

章亦春导师，您好：


               由于工作原因，我现在进行nginx模块开发，从而了解到openresty，对你开源精神深表佩服，通过你的官网学习了很多知识，在此深表感谢！



               最近做一个项目，需要使用 lua+memcached连接池，用到了 https://github.com/agentzh/lua-resty-memcached/blob/master/lib/resty/memcached.lua模块，

               我希望memcached的连接池类似数据库连接池一样，保持固定数量的长连接

               完全拷贝了网站上面的例子，

content_by_lua ' local memcached = require "resty.memcached" local memc, err = memcached:new() if not memc then ngx.say("failed to instantiate memc: ", err) return end memc:set_timeout(1000) -- 1 sec -- or connect to a unix domain socket file listened -- by a memcached server: -- local ok, err = memc:connect("unix:/path/to/memc.sock") local ok, err = memc:connect("127.0.0.1", 11211) if not ok then ngx.say("failed to connect: ", err) return end -- put it into the connection pool of size 100, -- with 0 idle timeout memc:set_keepalive(0, 100)

                  但是在使用过程中，设置了 keepalive=100，但是在进行压力测试的过程中，memcached连接数还是猛增，不确定是我对该keepalive的理解不正确，还是用法不正确，请指点。

                  [root@thx logs]# netstat -pnt|grep 12101|wc

                                          603    4221   65727

                    tcp        0      0 192.168.4.26:54142          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53825          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53904          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:53898          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54457          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54700          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54120          192.168.52.79:12101         TIME_WAIT   -

                    tcp        0      0 192.168.4.26:54151          192.168.52.79:12101         TIME_WAIT   -

         至此！

       敬礼！

2012-08-17

-- 
Thanks
-YWB