关于ngx.dict的疑惑，麻烦章哥看看

fangpengwansui · 2014-04-11T23:03:05+00:00

hi 在osx上同样的代码发生另一个错误osx 10.9.2openresty 1.5.12.1rc1 --with-...

关于ngx.dict的疑惑，麻烦章哥看看

fangpengwansui

章哥，您好！用了你的东西很久了，谢谢！今天是第一次在邮件列表求助，心里有点小激动呢。

言归正传，我们有这么一个和cdn相关的需求：每分钟产生一个实时流量统计日志，该日志的内容很简单，每一行的内容是一个域名，以及对应该域名在这一分钟内的流量。

我们之前的做法是，首先写一个nginx模块，让它在设定的时间间隔（比如一分钟）就吐出一份实时的访问日志，然后用外部程序去统计这个每分钟的访问日志，用统计后的结果来生成上面所说的实时流量统计日志。

现在我们的思路是想直接通过nginx就生成这个实时流量统计日志，通过ngx.dict来统计。dict的key是域名，value是流量。

遇到的问题是，由于最终日志是要每个域名一行，所以就要涉及到对dict的遍历操作get_keys，翻阅过之前的帖子，这是您严重不推荐的做法。

对于这种需求，是不是就意味着dict是不适用的?

谢谢章哥！

agentzh

Hello!

2014-04-11 8:02 GMT-07:00 fangpeng:
> 遇到的问题是，由于最终日志是要每个域名一行，所以就要涉及到对dict的遍历操作get_keys，翻阅过之前的帖子，这是您严重不推荐的做法。
>
> 对于这种需求，是不是就意味着dict是不适用的?
>

对于你这里的需求，get_keys 应该是适用的。因为

1. 你的字典里不会有太多的 keys 需要遍历，毕竟你在一分钟以内不会产生太多的域名数据。
2. 每分钟也只有一个 worker 进行一次 get_keys 调用。

当然了，建议你针对自己的实际场景进行性能测试。你总是可以通过火焰图工具确定实际执行热点的具体所在：

    https://github.com/agentzh/nginx-systemtap-toolkit#sample-bt

Regards,
-agentzh

pursuingnow

谢谢章哥，我是题主，换了个邮箱：）

>1. 你的字典里不会有太多的 keys 需要遍历，毕竟你在一分钟以内不会产生太多的域名数据。 

确实是这样。

>2. 每分钟也只有一个 worker 进行一次 get_keys 调用。

关于这一点，我说清楚一下，恐怕我对dict和timer的理解有问题。
我的思路是创建两个定时器，一个定时器是在init_worker_by_lua中创建，是用来遍历dict生成统计日志的。第二个定时器是对每个请求而言的，对每一个具体的请求，在每个小的时间间隔（一分钟）将当前流量更新到dict中，在log阶段会再次更新。

init_worker_by_lua的定时器处理函数，会用当前每个dict中的key(即域名）对应的value(即当前总流量），减去已经保存的上一次的value，即得到该域名在这一分钟的总流量。

你这里说的“每分钟也只有一个 worker 进行一次 get_keys 调用”没弄明白，因为只要有get_keys调用，那么dict就会锁住，那么每个request都会被阻塞住的吧？

agentzh

Hello!

2014-04-11 19:47 GMT-07:00  pursuingnow:
>>2. 每分钟也只有一个 worker 进行一次 get_keys 调用。
>
> 关于这一点，我说清楚一下，恐怕我对dict和timer的理解有问题。
> 我的思路是创建两个定时器，一个定时器是在init_worker_by_lua中创建，是用来遍历dict生成统计日志的。第二个定时器是对每个请求而言的，对每一个具体的请求，在每个小的时间间隔（一分钟）将当前流量更新到dict中，在log阶段会再次更新。
>

我不明白你这里为什么要在每请求中使用定时器。你可以直接在 log_by_lua 里面对共享内存字典进行 incr() 操作。

> init_worker_by_lua的定时器处理函数，会用当前每个dict中的key(即域名）对应的value(即当前总流量），减去已经保存的上一次的value，即得到该域名在这一分钟的总流量。
>
> 你这里说的“每分钟也只有一个 worker 进行一次 get_keys 调用”没弄明白，因为只要有get_keys调用，那么dict就会锁住，那么每个request都会被阻塞住的吧？
>

对。我说的是相对每分钟所有 worker 都进行一次 get_keys 调用而言的，当然更比每请求都调用一次 get_keys 要高效得多。

还有一种做法是你通过一个专门的 key，例如“domains”，自己来维护所有的 domains
的列表（通过空格分隔），例如。这种做法很可能比 get_keys() 要高效。正如我先前指出的，你最好自己针对你的场景进行定量分析。

Regards,
-agentzh

pursuingnow

谢谢章哥的耐心解答，我这里回复一下“为什么要在每个请求中使用定时器”：

因为我们服务器上的存储的都是视频，一个请求处理的时间会很长，而需求是要实时（精确到每分钟）统计当前流量，不能等到log阶段再统计，所以才采用这种方式。

你后面提出的一种方法真的不错，我试试~

在 2014年4月12日星期六UTC+8上午11时33分51秒，agentzh写道：

Hello!

2014-04-11 19:47 GMT-07:00 pursuingnow:
>>2. 每分钟也只有一个 worker 进行一次 get_keys 调用。
>
> 关于这一点，我说清楚一下，恐怕我对dict和timer的理解有问题。
> 我的思路是创建两个定时器，一个定时器是在init_worker_by_lua中创建，是用来遍历dict生成统计日志的。第二个定时器是对每个请求而言的，对每一个具体的请求，在每个小的时间间隔（一分钟）将当前流量更新到dict中，在log阶段会再次更新。
>

我不明白你这里为什么要在每请求中使用定时器。你可以直接在 log_by_lua 里面对共享内存字典进行 incr() 操作。

> init_worker_by_lua的定时器处理函数，会用当前每个dict中的key(即域名）对应的value(即当前总流量），减去已经保存的上一次的value，即得到该域名在这一分钟的总流量。
>
> 你这里说的“每分钟也只有一个 worker 进行一次 get_keys 调用”没弄明白，因为只要有get_keys调用，那么dict就会锁住，那么每个request都会被阻塞住的吧？
>

对。我说的是相对每分钟所有 worker 都进行一次 get_keys 调用而言的，当然更比每请求都调用一次 get_keys 要高效得多。

还有一种做法是你通过一个专门的 key，例如“domains”，自己来维护所有的 domains
的列表（通过空格分隔），例如。这种做法很可能比 get_keys() 要高效。正如我先前指出的，你最好自己针对你的场景进行定量分析。

Regards,
-agentzh