Re: ngx.shared.DICT遍历操作

agentzh

Hello!

2012/10/19 铁轮:
>          我这边有一个案例需要用到遍历字典操作，请问这个功能如何实现？修改源码？
>

Brian Akins 已经提供了一个补丁，可以看这里的相关讨论：

    https://github.com/chaoslawful/lua-nginx-module/pull/170

这两天我会尝试将一个经过修订的版本合并到 ngx_lua 的主干。

另：同时抄送给 openresty 中文邮件列表：https://groups.google.com/group/openresty
（国内访问可能需要翻墙）也欢迎你加入该列表并在那里和我们讨论这样的问题 :) 多谢！

Best regards,
-agentzh

smallfish.xy

我之前也写过所有keys的一个补丁，章老师看看？呵呵。https://gist.github.com/74439ea9fac084e43932
--

blog: http://chenxiaoyu.org

2012/10/20 agentzh <age...@gmail.com>

Hello!

2012/10/19 铁轮:
> 我这边有一个案例需要用到遍历字典操作，请问这个功能如何实现？修改源码？
>

Brian Akins 已经提供了一个补丁，可以看这里的相关讨论：

https://github.com/chaoslawful/lua-nginx-module/pull/170

这两天我会尝试将一个经过修订的版本合并到 ngx_lua 的主干。

另：同时抄送给 openresty 中文邮件列表：https://groups.google.com/group/openresty
（国内访问可能需要翻墙）也欢迎你加入该列表并在那里和我们讨论这样的问题 :) 多谢！

Best regards,
-agentzh

tielun

主要是这一段：

ngx_shmtx_lock(&ctx->shpool->mutex);

lua_newtable(L);

int i = 1;

for (q = ngx_queue_head(&ctx->sh->queue);

q != ngx_queue_sentinel(&ctx->sh->queue); q = ngx_queue_next(q)) {

sd = ngx_queue_data(q, ngx_http_lua_shdict_node_t, queue);

lua_pushlstring(L, (char *) sd->data, sd->key_len);

lua_rawseti(L, -2, i++);

}

ngx_shmtx_unlock(&ctx->shpool->mutex);

毕竟对整个TREE，其他线程都阻塞了。

我想实现一个类似切换DUMP的功能，dump那一刻，切换入口到新的tree上，新tree是老的tree的复制，从入口开始遍历全部NODE即可。

铁轮

---------------------------------

一淘--广告技术

发件人: 铁轮
发送时间: 2012年10月20日 14:40
收件人: 'smallfish'; openresty@googlegroups.com
主题: 答复: [openresty] Re: ngx.shared.DICT遍历操作

Hi smallfish

验证了你的实现，可以通过。不过我有一个问题在于，做keys操作的时候，锁会不会阻塞整个worker?如果时间长了，其他的写入会不会受到影响。

铁轮

---------------------------------

一淘--广告技术

发件人: smallfish [mailto:small...@gmail.com]
发送时间: 2012年10月20日 9:05
收件人: openresty@googlegroups.com
抄送: 铁轮
主题: Re: [openresty] Re: ngx.shared.DICT遍历操作

我之前也写过所有keys的一个补丁，章老师看看？呵呵。https://gist.github.com/74439ea9fac084e43932
--

blog: http://chenxiaoyu.org

2012/10/20 agentzh <age...@gmail.com>

Hello!

2012/10/19 铁轮:
> 我这边有一个案例需要用到遍历字典操作，请问这个功能如何实现？修改源码？
>

Brian Akins 已经提供了一个补丁，可以看这里的相关讨论：

https://github.com/chaoslawful/lua-nginx-module/pull/170

这两天我会尝试将一个经过修订的版本合并到 ngx_lua 的主干。

另：同时抄送给 openresty 中文

This email (including any attachments) is confidential and may be legally privileged. If you received this email in error, please delete it immediately and do not copy it or use it for any purpose or disclose its contents to any other person. Thank you.

本电邮(包括任何附件)可能含有机密资料并受法律保护。如您不是正确的收件人，请您立即删除本邮件。请不要将本电邮进行复制并用作任何其他用途、或透露本邮件之内容。谢谢。

tielun

Hi smallfish

验证了你的实现，可以通过。不过我有一个问题在于，做keys操作的时候，锁会不会阻塞整个worker?如果时间长了，其他的写入会不会受到影响。

铁轮

---------------------------------

一淘--广告技术

我之前也写过所有keys的一个补丁，章老师看看？呵呵。https://gist.github.com/74439ea9fac084e43932
--

blog: http://chenxiaoyu.org

2012/10/20 agentzh <age...@gmail.com>

agentzh

Hello!

2012/10/19 铁轮:
>
> 毕竟对整个TREE，其他线程都阻塞了。
>

共享内存字典是作为缓存来设计的，类似 memcached，而不是被设计成像 redis 那样的支持持久化的存储。

所以一开始其实我也并不想添加 get_keys 这样的方法，因为对于元素非常多的字典，必然会锁比较长的时间。现在添加 get_keys
方法属于“make hard things possible”，但绝不应滥用 :)

> 我想实现一个类似切换DUMP的功能，dump那一刻，切换入口到新的tree上，新tree是老的tree的复制，从入口开始遍历全部NODE即可。
>

你说的这种做法的最大问题是，从老 tree 复制出新 tree 在 ngx_lua 共享内存字典现有的结构中代价会高于 get_keys()
遍历本身。数据结构中的指针都需要重新设置，不能直接按块复制共享内存中的所有数据，同时整个复制的全过程还是需要锁定。

值得一提的是，Redis 的 RDB 持久化方法 [1] 借用了 fork()
系统调用来保证一致性，同时避免了对线上访问的直接干扰。另外，fork 可以利用到系统的 copy-on-write
机制，所以也很省内存。Redis 服务器是单线程单进程的服务，所以 fork 很合适。但对于多 worker
使用共享内存的场景，这种做法就不再适用了。

Redis 的 AOF 持久化方法通过追加记录所有写操作的日志文件来在重构整个存储，倒是可以用于 ngx_lua
的共享内存字典中，但在写入频繁的时候，其引入的额外开销还是不容忽视的。

正如前面所提到的，ngx_lua 目前的共享内存字典实现是针对缓存场景设计的，所以我也不会把它实现得过于复杂。或许未来我们可以在
ngx_lua 模块之外，通过专门的 Nginx C 模块实现可以供 Lua 使用的其他的更加 redis 的共享存储 :)

Best regards,
-agentzh

[1] http://redis.io/topics/persistence