resty.redis多进程实例

songjun435 · 2015-07-09T19:58:19+00:00

Hello! On Wed, Jul 8, 2015 at 4:44 AM, info wrote: > Have a look here http://nginx-win.ecsds.eu/download/ngxLuaDB-1.1.zip and > 'nginx GEOIP-MYSQL wi...

resty.redis多进程实例

songjun435

hi,all

使用resty.redis，需要在nginx的每个worker里单独new一个redis实例(init_worker_by_lua_file)，

还是在init_by_lua_file里面new一个实例，worker公用？

agentzh

Hello!

On Thu, Jul 9, 2015 at 7:58 PM, songj songj wrote:
> hi,all
>     使用resty.redis，需要
> 在nginx的每个worker里单独new一个redis实例(init_worker_by_lua_file)，
> 还是在init_by_lua_file里面new一个实例，worker公用？
>

每个请求 new 一个 resty.redis
对象，否则你不好玩高并发。值得一提的是，因为你可以选择使用连接池，所以每个请求并不一定都需要创建一个新的 redis 连接（因为 new
会优先从连接池里复用空闲连接）。

Regards,
-agentzh

songjun435

nginx是多进程单线程的，worker都是从master fork出来的，如果在master的init_by_lua_file里面new一个redis实例，

那么在worker进程都会复制一份，这样是不是各个worker进程有自己独立的redis实例了？

每个worker是单线程，这个还需要每次请求都new一个对象嘛？

On Thursday, July 9, 2015 at 8:32:30 PM UTC+8, agentzh wrote:

Hello!

On Thu, Jul 9, 2015 at 7:58 PM, songj songj wrote:
> hi,all
> 使用resty.redis，需要
> 在nginx的每个worker里单独new一个redis实例(init_worker_by_lua_file)，
> 还是在init_by_lua_file里面new一个实例，worker公用？
>

每个请求 new 一个 resty.redis
对象，否则你不好玩高并发。值得一提的是，因为你可以选择使用连接池，所以每个请求并不一定都需要创建一个新的 redis 连接（因为 new
会优先从连接池里复用空闲连接）。

Regards,
-agentzh

agentzh

Hello!

2015-07-10 9:55 GMT+08:00 songj songj:
> nginx是多进程单线程的，worker都是从master
> fork出来的，如果在master的init_by_lua_file里面new一个redis实例，
> 那么在worker进程都会复制一份，这样是不是各个worker进程有自己独立的redis实例了？
>

准确地讲，在这种情况下，是每个 worker 进程有*同一个* TCP 连接的自己的 fd（文件描述符）副本。注意，fork 并不会复制
TCP 连接本身，而只是克隆连接对应的 fd. 当不同的 worker 进程无控制地向同一个连接进行读写时，或者当同一个 worker
服务的不同的（并发）请求对同一个连接进行读写，这个 redis
连接上的状态都会全部乱套啦（共享的连接要支持并发读写而不发生冲突，就必须引入锁机制，这与其他共享资源的访问方式是完全一样的）。

这里需要针对并发访问的思维。

> 每个worker是单线程，这个还需要每次请求都new一个对象嘛？
>

同一个 OS 线程可以并发处理极多的（上万、上十万、乃至上百万）不同的下游连接。这正是 nginx 单线程也能支持极高并发的秘密，即利用了
I/O multplexing 这种技术 [1]。这也是为什么 Apache httpd 服务器的 worker mpm 虽然也是多
worker，单线程，但并发能力却极为有限（因为它没有使用 I/O multiplexing）。

Regards,
-agentzh

[1] select, poll, epoll 和 kqueue 这些系统 API 正是为了支撑这种技术。

songjun435

还有一个问题哈（ redis里面确实没有dog的K/V对）：

local res, err = red:get(key)

ngx.say("kvstore_get for dog success,res is " .. res)

会出现这个错误:

attempt to concatenate local 'res' (a userdata value)

stack traceback:

coroutine 0:

然后我改了一下 tostring(res) 然后再跑了一下就没有错误了，打印出来的是

kvstore_get for dog success,res is userdata: NULL

res为啥是NULL，这个是C里面的，返回NULL是不是不对？

On Friday, July 10, 2015 at 1:27:13 PM UTC+8, agentzh wrote:

Hello!

2015-07-10 9:55 GMT+08:00 songj songj:
> nginx是多进程单线程的，worker都是从master
> fork出来的，如果在master的init_by_lua_file里面new一个redis实例，
> 那么在worker进程都会复制一份，这样是不是各个worker进程有自己独立的redis实例了？
>

准确地讲，在这种情况下，是每个 worker 进程有*同一个* TCP 连接的自己的 fd（文件描述符）副本。注意，fork 并不会复制
TCP 连接本身，而只是克隆连接对应的 fd. 当不同的 worker 进程无控制地向同一个连接进行读写时，或者当同一个 worker
服务的不同的（并发）请求对同一个连接进行读写，这个 redis
连接上的状态都会全部乱套啦（共享的连接要支持并发读写而不发生冲突，就必须引入锁机制，这与其他共享资源的访问方式是完全一样的）。

这里需要针对并发访问的思维。

> 每个worker是单线程，这个还需要每次请求都new一个对象嘛？
>

同一个 OS 线程可以并发处理极多的（上万、上十万、乃至上百万）不同的下游连接。这正是 nginx 单线程也能支持极高并发的秘密，即利用了
I/O multplexing 这种技术 [1]。这也是为什么 Apache httpd 服务器的 worker mpm 虽然也是多
worker，单线程，但并发能力却极为有限（因为它没有使用 I/O multiplexing）。

Regards,
-agentzh

[1] select, poll, epoll 和 kqueue 这些系统 API 正是为了支撑这种技术。

agentzh

Hello!

2015-07-10 18:00 GMT+08:00 songj songj:
> 还有一个问题哈（ redis里面确实没有dog的K/V对）：
> local res, err = red:get(key)
> ngx.say("kvstore_get for dog success,res is " .. res)
> 会出现这个错误:
> attempt to concatenate local 'res' (a userdata value)
> stack traceback:
> coroutine 0:
> 然后我改了一下 tostring(res) 然后再跑了一下就没有错误了，打印出来的是
> kvstore_get for dog success,res is userdata: NULL
> res为啥是NULL，这个是C里面的，返回NULL是不是不对？
>

这是期望的行为，在 lua-resty-redis 的官方文档中有明确说明：

https://github.com/openresty/lua-resty-redis#methods

“A non-nil Redis "bulk reply" results in a Lua string as the return
value. A nil bulk reply results in angx.null return value.”

另外，请为新的问题创建新的主题，而不要“绑架”老的不相干的主题。当前的主题是“resty.redis多进程实例”。谢谢合作！

Regards,
-agentzh

fuyou001

> 每个worker是单线程，这个还需要每次请求都new一个对象嘛？
>

同一个 OS 线程可以并发处理极多的（上万、上十万、乃至上百万）不同的下游连接。这正是 nginx 单线程也能支持极高并发的秘密，即利用了
I/O multplexing 这种技术 [1]。这也是为什么 Apache httpd 服务器的 worker mpm 虽然也是多
worker，单线程，但并发能力却极为有限（因为它没有使用 I/O multiplexing）。

-----这里应该批是Apache httpd 服务器的 worker mpm worker多线程本身没有使用I/O multiplexing，但Acceptor 线程应该是使用了I/O multiplexing吧

只是Accptor 线程接收了请求，交给后面的mpm worker 线程，mpm worker 线程没有使用I/O multiplexing来处理IO.

On Friday, July 10, 2015 at 1:27:13 PM UTC+8, agentzh wrote:

Hello!

2015-07-10 9:55 GMT+08:00 songj songj:
> nginx是多进程单线程的，worker都是从master
> fork出来的，如果在master的init_by_lua_file里面new一个redis实例，
> 那么在worker进程都会复制一份，这样是不是各个worker进程有自己独立的redis实例了？
>

准确地讲，在这种情况下，是每个 worker 进程有*同一个* TCP 连接的自己的 fd（文件描述符）副本。注意，fork 并不会复制
TCP 连接本身，而只是克隆连接对应的 fd. 当不同的 worker 进程无控制地向同一个连接进行读写时，或者当同一个 worker
服务的不同的（并发）请求对同一个连接进行读写，这个 redis
连接上的状态都会全部乱套啦（共享的连接要支持并发读写而不发生冲突，就必须引入锁机制，这与其他共享资源的访问方式是完全一样的）。

这里需要针对并发访问的思维。

> 每个worker是单线程，这个还需要每次请求都new一个对象嘛？
>

同一个 OS 线程可以并发处理极多的（上万、上十万、乃至上百万）不同的下游连接。这正是 nginx 单线程也能支持极高并发的秘密，即利用了
I/O multplexing 这种技术 [1]。这也是为什么 Apache httpd 服务器的 worker mpm 虽然也是多
worker，单线程，但并发能力却极为有限（因为它没有使用 I/O multiplexing）。

Regards,
-agentzh

[1] select, poll, epoll 和 kqueue 这些系统 API 正是为了支撑这种技术。

agentzh

Hello!

2015-07-11 7:42 GMT+08:00 you fu:
> -----这里应该批是Apache httpd 服务器的 worker mpm worker多线程本身没有使用I/O
> multiplexing，但Acceptor 线程应该是使用了I/O multiplexing吧
> 只是Accptor 线程接收了请求，交给后面的mpm worker 线程，mpm worker 线程没有使用I/O multiplexing来处理IO.
>

accept() 部分用 multiplexing 只是很小的一部分，离 C10K 还差得远。连 mysqld 服务器都用到
select() 来搞 accept :) 关键要纯 multiplexing 呀，只要整个处理过程中有一个 I/O 操作阻住某个 OS
线程就完了，呵呵。

Regards,
-agentzh

fuyou001

嗯，多谢。

On Saturday, July 11, 2015 at 11:45:48 AM UTC+8, agentzh wrote:

Hello!

2015-07-11 7:42 GMT+08:00 you fu:
> -----这里应该批是Apache httpd 服务器的 worker mpm worker多线程本身没有使用I/O
> multiplexing，但Acceptor 线程应该是使用了I/O multiplexing吧
> 只是Accptor 线程接收了请求，交给后面的mpm worker 线程，mpm worker 线程没有使用I/O multiplexing来处理IO.
>

accept() 部分用 multiplexing 只是很小的一部分，离 C10K 还差得远。连 mysqld 服务器都用到
select() 来搞 accept :) 关键要纯 multiplexing 呀，只要整个处理过程中有一个 I/O 操作阻住某个 OS
线程就完了，呵呵。

Regards,
-agentzh