ngx.shared.DICT数据失效的时候回调？

believe3301

请问ngx.shared.DICT在evict数据或者数据expired的时候能加个回调么？

这样能进行在数据失效后做些另外的操作。

agentzh

Hello!

2013/8/27 tiger yang:
> 请问ngx.shared.DICT在evict数据或者数据expired的时候能加个回调么？
> 这样能进行在数据失效后做些另外的操作。

数据过期本身不会触发事件，因为我们只是在数据内保存了一个过期时间而已。在写操作在内存不足时按 LRU
规则清除过期和未过期元素时调用回调，也不太好实现，因为注册回调的 worker 进程不一定是运行回调的 worker
进程，毕竟共享内存字典是所有 worker 共享的。

Regards,
-agentzh

believe3301

明白了，可是dict能提供类似memecache的那样的status么。

我现在是在存储的时候有个计数器进行计数的，不过有时候要踢数据，最后也不知道到底用了多少内存，到底有多少个项。

顺便问一句，nginx lua可能添加一个操作proxy_cache的接口么？

我看现在有个https://github.com/cloudflare/lua-nginx-cache-module，不过只能操作proxy_cache之后的元数据。

有时候数据想缓存在磁盘，不一定是proxy之后获取的数据，可能是通过nginx lua模块进行了运算之后的数据。

存储数据后通过srcache就可以透明的进行cache了。

On Wednesday, August 28, 2013 2:36:32 AM UTC+8, agentzh wrote:

Hello!

2013/8/27 tiger yang:
> 请问ngx.shared.DICT在evict数据或者数据expired的时候能加个回调么？
> 这样能进行在数据失效后做些另外的操作。

数据过期本身不会触发事件，因为我们只是在数据内保存了一个过期时间而已。在写操作在内存不足时按 LRU
规则清除过期和未过期元素时调用回调，也不太好实现，因为注册回调的 worker 进程不一定是运行回调的 worker
进程，毕竟共享内存字典是所有 worker 共享的。

Regards,
-agentzh

agentzh

Hello!

2013/9/4 tiger yang:
> 明白了，可是dict能提供类似memecache的那样的status么。

我不太愿意在 shdict 内部实现统计功能，因为不可避免地会引入额外的开销和复杂度。我更倾向于从外部通过 systemtap 这样的动态工具进行按需实时统计。

> 我现在是在存储的时候有个计数器进行计数的，不过有时候要踢数据，最后也不知道到底用了多少内存，到底有多少个项。
>

你可以使用 Nginx Systemtap Toolkit 中的 ngx-shm 工具实时检查 Nginx 中各个共享内存区域的内存使用情况：

    https://github.com/agentzh/nginx-systemtap-toolkit#ngx-shm

根据内存的占用多少，结合元素的平均大小，可以估计出字典中总的元素个数。

> 顺便问一句，nginx lua可能添加一个操作proxy_cache的接口么？
>

我不会在 ngx_lua 模块中添加这样的功能，因为这样的功能完全可以实现为独立的 nginx C 模块。ngx_lua 模块支持其他
nginx C 模块扩展它的 Lua API，比如下面这个作为范例的 nginx C 模块：

    https://github.com/bakins/nginx-example-lua-module

欢迎贡献。

> 我看现在有个https://github.com/cloudflare/lua-nginx-cache-module，不过只能操作proxy_cache之后的元数据。;
> 有时候数据想缓存在磁盘，不一定是proxy之后获取的数据，可能是通过nginx lua模块进行了运算之后的数据。
>

一个建议：除非迫不得已，否则尽量不要用磁盘进行缓存，因为磁盘 IO 必会阻塞 nginx worker
进程，降低你的服务器的吞吐能力，增大响应延时。nginx  的 http cache 如果指向磁盘存储，则其磁盘 IO 必会阻塞。

Regards,
-agentzh