有关ngx.shared.DICT的问题这里想请教大家一下

plc1989 · 2014-06-13T23:20:24+00:00

Hello! 2014-06-12 3:49 GMT-07:00 王二伟: > 问题找到了,是每次请求都&#x...

有关ngx.shared.DICT的问题这里想请教大家一下

plc1989

我们知道在DICT里可以存在如下几种状态的key

exist not expired expired non-existent

针对我对文档的理解，概括了如下几个操作所能针对的key状态

get --> exist not expired

get_stale --> expired

set,

safe_set --> exist not expired , expired , non-existent

add,

sfe_add --> expired , non-existent

replace --> exist not expired

delete --> exist not expired , expired

incr --> exist not expired

flush_all --> exist not expired

flush_expired --> expired

get_keys --> exist not expired

红色部分是我自己推断出来的该操作所能针对的key的状态，大家能帮我确认一下吗？

set操作会开始根据LRU算法剔除exist not expired状态的key，是在把expired状态的key都剔除完也没有空间来增加key了之后吧？

delete操作只是负责将key删除，并不会释放内存空间吧？

flush_expired会释放内存空间，既然内存分配是个很昂贵的操作，这里为什么还要释放内存空间呢，留着不是会更好吗？这里释放是有什么目的吗？

谢谢

doujiang24

hello

在 2014年6月13日下午11:20，aCayF <plc...@gmail.com>写道：

get_stale --> expired

这里，没过期的值也可以得到，只是多一个 stale 返回值表示是否过期

add,
safe_add --> expired , non-existent

safe_* 是不会删除过期 key

delete --> exist not expired , expired

It is equivalent to ngx.shared.DICT:set(key, nil)

set操作会开始根据LRU算法剔除exist not expired状态的key，是在把expired状态的key都剔除完也没有空间来增加key了之后吧？

是的

delete操作只是负责将key删除，并不会释放内存空间吧？

会回到内存池

flush_expired会释放内存空间，既然内存分配是个很昂贵的操作，这里为什么还要释放内存空间呢，留着不是会更好吗？这里释放是有什么目的吗？

这个是回到内存池

我自己的理解，也不一定准确，希望能有帮助 :)

agentzh

Hello!

2014-06-13 8:20 GMT-07:00 aCayF:
> set操作会开始根据LRU算法剔除exist not
> expired状态的key，是在把expired状态的key都剔除完也没有空间来增加key了之后吧？
>

实际的剔除（eviction）操作比较复杂。

每一次 get（不含 get_stale）, incr, set 和 safe_set 都会实际删除 1 ~ 2
个已过期的元素（在代码级别上通过 ngx_http_lua_shdict_expire 这个 C 函数）。

当 set 无法在共享内存池里分配空间时，会根据 LRU
规则强制删除多个元素，直到空出足够的空间或者达到剔除元素的尝试上限（目前的实现里的尝试次数上限是 30 次）。在强制剔除元素时并不会区分
expired 和非 expired 的，而只是按照 LRU 队列顺序来剔除。

> delete操作只是负责将key删除，并不会释放内存空间吧？
>

delete 会直接释放。和 set(key, nil) 操作等价。

> flush_expired会释放内存空间，既然内存分配是个很昂贵的操作，这里为什么还要释放内存空间呢，留着不是会更好吗？这里释放是有什么目的吗？
>

flush_expired 最初就是为了实际释放所有可以释放的空间而引入的。当然，在实际应用中真正需要它的场景很特殊很少。我在我自己目前接触到的
openresty 应用中还没有真正用到过它。

Regards,
-agentzh

plc1989

好的，谢谢doujiang24的指正以及章老师的解答:)

这里有几个概念还不是很清楚：

1.剔除操作是通过一定的算法将key-value对删除，并将所占内存空间释放，返回到共享内存池里吧？所以删除的操作永远是伴随着内存返回到内存池中，而不是伴随着像free这样的操作咯？

2.lua_shared_dict这个指令才是真正起到像malloc这样操作的作用咯？这样后续向这块共享内存池申请内存的操作代价会小很多？

3.delete操作的作用和flush_expired操作的区别之一是delete只将内存返回给共享内存池，而flush_expired的作用就类似于free咯？

2014-06-15 9:26 GMT+08:00 Yichun Zhang (agentzh) <age...@gmail.com>:

Hello!

2014-06-13 8:20 GMT-07:00 aCayF:
> set操作会开始根据LRU算法剔除exist not
> expired状态的key，是在把expired状态的key都剔除完也没有空间来增加key了之后吧？
>

实际的剔除（eviction）操作比较复杂。

每一次 get（不含 get_stale）, incr, set 和 safe_set 都会实际删除 1 ~ 2
个已过期的元素（在代码级别上通过 ngx_http_lua_shdict_expire 这个 C 函数）。

当 set 无法在共享内存池里分配空间时，会根据 LRU
规则强制删除多个元素，直到空出足够的空间或者达到剔除元素的尝试上限（目前的实现里的尝试次数上限是 30 次）。在强制剔除元素时并不会区分
expired 和非 expired 的，而只是按照 LRU 队列顺序来剔除。

> delete操作只是负责将key删除，并不会释放内存空间吧？
>

delete 会直接释放。和 set(key, nil) 操作等价。

> flush_expired会释放内存空间，既然内存分配是个很昂贵的操作，这里为什么还要释放内存空间呢，留着不是会更好吗？这里释放是有什么目的吗？
>

flush_expired 最初就是为了实际释放所有可以释放的空间而引入的。当然，在实际应用中真正需要它的场景很特殊很少。我在我自己目前接触到的
openresty 应用中还没有真正用到过它。

Regards,
-agentzh

--

agentzh

Hello!

2014-06-15 0:08 GMT-07:00 aCayF:
> 1.剔除操作是通过一定的算法将key-value对删除，并将所占内存空间释放，返回到共享内存池里吧？所以删除的操作永远是伴随着内存返回到内存池中，而不是伴随着像free这样的操作咯？
>

这里其实并没有使用 nginx 的 memory pool 设施，所以“内存池”这种提法容易引起误解。这里的共享内存区域在 nginx
内部称为“shm zone”，是由 nginx 在加载配置时通过 mmap 系统调用一次性分配好的。

> 2.lua_shared_dict这个指令才是真正起到像malloc这样操作的作用咯？这样后续向这块共享内存池申请内存的操作代价会小很多？
>

这里并没有使用 libc 的 malloc 分配器接口，而是直接调用的 mmap(). 当然，由于现代 OS 的优化，mmap()
分配的虚拟内存区域也并不会全部实际加载到各个进程的进程空间里来。虚拟内存页的加载是 lazy
的，按需进行的。区域内的各个内存页都是在第一次实际读写时，通过 page fault
机制按需加载进来的。所以，如果你分配了很大的空享内存区域，但你只用到很小的一部分时，也并不会造成很大的物理内存占用。

> 3.delete操作的作用和flush_expired操作的区别之一是delete只将内存返回给共享内存池，而flush_expired的作用就类似于free咯？
>

nginx 共享内存区域里的空间一般是通过 nginx 自己的 slab allocator 设施进行管理的（当然，某些第三方模块有例外，但
ngx_lua 在这里并不例外）。释放内存块在这里其实就是把对应的块放到 slab allocator 内部的 free block
链表里面供以后的分配请求复用（当然，同时也会进行地址上相邻的空闲块的合并操作，以减少内存碎片）。

建议阅读相关的源码，包括 nginx 核心中的 src/core/ngx_slab.[ch] 文件和 ngx_lua 模块的
src/ngx_http_lua_shdict.[ch] 文件。

Regards,
-agentzh

plc1989

好的，谢谢章老师的耐心指教，看来还得多看看源代码:)

2014-06-16 3:55 GMT+08:00 Yichun Zhang (agentzh) <age...@gmail.com>:

Hello!

2014-06-15 0:08 GMT-07:00 aCayF:

> 1.剔除操作是通过一定的算法将key-value对删除，并将所占内存空间释放，返回到共享内存池里吧？所以删除的操作永远是伴随着内存返回到内存池中，而不是伴随着像free这样的操作咯？
>

这里其实并没有使用 nginx 的 memory pool 设施，所以“内存池”这种提法容易引起误解。这里的共享内存区域在 nginx
内部称为“shm zone”，是由 nginx 在加载配置时通过 mmap 系统调用一次性分配好的。

> 2.lua_shared_dict这个指令才是真正起到像malloc这样操作的作用咯？这样后续向这块共享内存池申请内存的操作代价会小很多？
>

这里并没有使用 libc 的 malloc 分配器接口，而是直接调用的 mmap(). 当然，由于现代 OS 的优化，mmap()
分配的虚拟内存区域也并不会全部实际加载到各个进程的进程空间里来。虚拟内存页的加载是 lazy
的，按需进行的。区域内的各个内存页都是在第一次实际读写时，通过 page fault
机制按需加载进来的。所以，如果你分配了很大的空享内存区域，但你只用到很小的一部分时，也并不会造成很大的物理内存占用。

> 3.delete操作的作用和flush_expired操作的区别之一是delete只将内存返回给共享内存池，而flush_expired的作用就类似于free咯？
>

nginx 共享内存区域里的空间一般是通过 nginx 自己的 slab allocator 设施进行管理的（当然，某些第三方模块有例外，但
ngx_lua 在这里并不例外）。释放内存块在这里其实就是把对应的块放到 slab allocator 内部的 free block
链表里面供以后的分配请求复用（当然，同时也会进行地址上相邻的空闲块的合并操作，以减少内存碎片）。

建议阅读相关的源码，包括 nginx 核心中的 src/core/ngx_slab.[ch] 文件和 ngx_lua 模块的
src/ngx_http_lua_shdict.[ch] 文件。

Regards,
-agentzh

--