ngx.shared.DICT 是否已经支持queue

phponcer · 2016-05-08T11:15:38+00:00

Hello! 2016-05-05 6:22 GMT-07:00 锐蓝: > 在使用lua redis模块的时候发现以...

ngx.shared.DICT 是否已经支持queue

phponcer

请问下ngx.shared.DICT 是否已经实现queue？我的openresty/1.9.7.4 是不是还不支持？

huoding.com

现在还没合并相关代码，我也等这个功能好久了，不知道为何春哥一直没合并...

在 2016年5月8日星期日 UTC+8上午11:15:39，kuke写道：

请问下ngx.shared.DICT 是否已经实现queue？我的openresty/1.9.7.4 是不是还不支持？

agentzh

Hello!

2016-05-11 5:19 GMT-07:00 火丁笔记:
> 现在还没合并相关代码，我也等这个功能好久了，不知道为何春哥一直没合并...
>

计划 OpenResty 1.9.15.2 中包含这个特性。

Regards,
-agentzh

sumory.wu

Hi，春哥。

刚看到1.11.2.1发布，请问queue有计划增加阻塞的API吗？现在lpop/rpush/rpop/lpush都是立即返回的，如果想监听一个queue要一个while循环不断空转，如果使用sleep的话时间间隔的大小与业务逻辑要求不好匹配。如果能支持一个阻塞的API（可以指定一个timeout的参数）就好了。

在 2016年5月28日星期六 UTC+8上午8:03:35，agentzh写道：

Hello!

2016-05-11 5:19 GMT-07:00 火丁笔记:
> 现在还没合并相关代码，我也等这个功能好久了，不知道为何春哥一直没合并...
>

计划 OpenResty 1.9.15.2 中包含这个特性。

Regards,
-agentzh

doujiang24

Hello,

在 2016年8月26日下午2:55，sumory wu <sumo...@gmail.com>写道：

Hi，春哥。

刚看到1.11.2.1发布，请问queue有计划增加阻塞的API吗？

现在lpop/rpush/rpop/lpush都是立即返回的，如果想监听一个queue要一个while循环不断空转，如果使用sleep的话时间间隔的大小与业务逻辑要求不好匹配。如果能支持一个阻塞的API（可以指定一个timeout的参数）就好了。

首先，如果你的实现里，只有一个 worker 在 while 循环，那么 sleep 比较短的时间（比如 10ms）

也不会有什么性能问题，但是这个固定延时是跑不了了

其次，你这个 api 并不合理（假设你需要消息的及时性哈）

如果要做到有消息及时返回，那么势必要做进程之间通讯

如果 worker （进程）用进程级别的信号量（semaphore）来大量通讯，那么这个性能很难保证

最好的方式是：实现 cosocket:listen （或者其他名字）每 worker 监听一个独立端口（或者 unix domain）

worker 之间走 socket 通讯，可以做到很及时

这个 api 我计划会在今年晚些时候尝试一下 :)

在 2016年5月28日星期六 UTC+8上午8:03:35，agentzh写道：
Hello!

2016-05-11 5:19 GMT-07:00 火丁笔记:
> 现在还没合并相关代码，我也等这个功能好久了，不知道为何春哥一直没合并...
>

计划 OpenResty 1.9.15.2 中包含这个特性。

Regards,
-agentzh

--

sumory.wu

我在尝试使用OpenResty构建一个实时应用（websocket），本质需求是希望worker间能更简单高效的通信，目前OpenResty通过semaphore实现了worker内通信，但worker间通信的难度还是偏大。

看到queue实现了类似于redis的API（lpop/rpush），就在想如果能提供阻塞API，那么就能大大简化此类应用（希望只在单一nginx内worker间通信的应用，或者“状态”只需要在nginx内部维护的应用，不需要一个单独的像redis这样的服务来支撑，逻辑上能减少至少两次redis网络调用）。

或者另一种可能的方案是实现queue的pub/sub特性。

当然这只是YY，啊哈哈，期待德江老师更优雅的API或解决方案能尽快出来造福大众！：）

在 2016年8月26日星期五 UTC+8下午11:37:50，doujiang写道：

Hello,

在 2016年8月26日下午2:55，sumory wu <sumo...@gmail.com>写道：
Hi，春哥。

刚看到1.11.2.1发布，请问queue有计划增加阻塞的API吗？
现在lpop/rpush/rpop/lpush都是立即返回的，如果想监听一个queue要一个while循环不断空转，如果使用sleep的话时间间隔的大小与业务逻辑要求不好匹配。如果能支持一个阻塞的API（可以指定一个timeout的参数）就好了。

首先，如果你的实现里，只有一个 worker 在 while 循环，那么 sleep 比较短的时间（比如 10ms）
也不会有什么性能问题，但是这个固定延时是跑不了了

其次，你这个 api 并不合理（假设你需要消息的及时性哈）
如果要做到有消息及时返回，那么势必要做进程之间通讯
如果 worker （进程）用进程级别的信号量（semaphore）来大量通讯，那么这个性能很难保证

最好的方式是：实现 cosocket:listen （或者其他名字）每 worker 监听一个独立端口（或者 unix domain）
worker 之间走 socket 通讯，可以做到很及时
这个 api 我计划会在今年晚些时候尝试一下 :)

在 2016年5月28日星期六 UTC+8上午8:03:35，agentzh写道：
Hello!

2016-05-11 5:19 GMT-07:00 火丁笔记:
> 现在还没合并相关代码，我也等这个功能好久了，不知道为何春哥一直没合并...
>

计划 OpenResty 1.9.15.2 中包含这个特性。

Regards,
-agentzh

--

doujiang24

Hello

在 2016年8月27日下午1:29，sumory wu <sumo...@gmail.com>写道：

我在尝试使用OpenResty构建一个实时应用（websocket），本质需求是希望worker间能更简单高效的通信

眼下用 list 来做 worker 间通讯也可以，只要你一个 worker 只有一个 while 循环就没问题（如我前面说的）

期待德江老师更优雅的API或解决方案能尽快出来造福大众！：）

哈哈，大家都是 OpenResty 社区的一员，玩的开心就好 :)

其实，list 和 socket 看起来都能做跨 worker 之间的通讯

但是我认为其实还是各有侧重的（当年搞消息推送的一点点思考）

list 本质是一个 worker 之间共享的队列，具有队列本身的特性

消息多了，可以排队，消费者可以按照自己的最大速率来处理

socket 的优势则是更加及时，对于实时应用来说，这个更加有吸引力（当然也要看业务需求了哈）

在 2016年8月26日星期五 UTC+8下午11:37:50，doujiang写道：
Hello,

在 2016年8月26日下午2:55，sumory wu <sumo...@gmail.com>写道：
Hi，春哥。

刚看到1.11.2.1发布，请问queue有计划增加阻塞的API吗？
现在lpop/rpush/rpop/lpush都是立即返回的，如果想监听一个queue要一个while循环不断空转，如果使用sleep的话时间间隔的大小与业务逻辑要求不好匹配。如果能支持一个阻塞的API（可以指定一个timeout的参数）就好了。

首先，如果你的实现里，只有一个 worker 在 while 循环，那么 sleep 比较短的时间（比如 10ms）
也不会有什么性能问题，但是这个固定延时是跑不了了

其次，你这个 api 并不合理（假设你需要消息的及时性哈）
如果要做到有消息及时返回，那么势必要做进程之间通讯
如果 worker （进程）用进程级别的信号量（semaphore）来大量通讯，那么这个性能很难保证

最好的方式是：实现 cosocket:listen （或者其他名字）每 worker 监听一个独立端口（或者 unix domain）
worker 之间走 socket 通讯，可以做到很及时
这个 api 我计划会在今年晚些时候尝试一下 :)

在 2016年5月28日星期六 UTC+8上午8:03:35，agentzh写道：
Hello!

2016-05-11 5:19 GMT-07:00 火丁笔记:
> 现在还没合并相关代码，我也等这个功能好久了，不知道为何春哥一直没合并...
>

计划 OpenResty 1.9.15.2 中包含这个特性。

Regards,
-agentzh

--

--

wangjunwei87

目前已经可以使用 queue 的 api 了，但是我翻遍了文档，没有找到可以设置 queue 对应 key 过期时间的相关说明。

请问一下，目前队列类型的 key 不支持过期时间吗？

On Sunday, May 8, 2016 at 11:15:39 AM UTC+8, kuke wrote:

请问下ngx.shared.DICT 是否已经实现queue？我的openresty/1.9.7.4 是不是还不支持？

doujiang24

Hello

确实是还没有，还在开发中，ttl 和 expire 指令

在 2016年12月8日上午11:05，王军伟 <wangj...@gmail.com>写道：

目前已经可以使用 queue 的 api 了，但是我翻遍了文档，没有找到可以设置 queue 对应 key 过期时间的相关说明。

请问一下，目前队列类型的 key 不支持过期时间吗？

On Sunday, May 8, 2016 at 11:15:39 AM UTC+8, kuke wrote:
请问下ngx.shared.DICT 是否已经实现queue？我的openresty/1.9.7.4 是不是还不支持？

--