请教一个关于HTTP请求数统计的方案

nikuailema

Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：

1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零

=> 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大

2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库

=> 性能问题，独立程序每隔1分钟会发上万请求到OpenResty

3、基于access.log来做日志分析

=> 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案

moonbingbing

看上去第二种方法可以。用独立的程序，那么它就可以先获取到域名列表，避免了对 shared dict 的遍历；每次通过 API 调用获取 100 个域名的 QPS，也就是每分钟 100 次 API 调用。

在 2016年7月22日下午3:13，nikua...@gmail.com <niku...@gmail.com>写道：

Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：
1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零
=> 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大
2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库
=> 性能问题，独立程序每隔1分钟会发上万请求到OpenResty
3、基于access.log来做日志分析
=> 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案

--

doujiang24

Hello

我觉得第一种挺好

如果担心一次处理太多，可以每次取 100 个key，sleep 0.1s

https://github.com/openresty/lua-nginx-module#ngxshareddictget_keys

在 2016年7月22日下午6:18，Ming <moonb...@gmail.com>写道：

看上去第二种方法可以。用独立的程序，那么它就可以先获取到域名列表，避免了对 shared dict 的遍历；每次通过 API 调用获取 100 个域名的 QPS，也就是每分钟 100 次 API 调用。

在 2016年7月22日下午3:13，nikua...@gmail.com <niku...@gmail.com>写道：
Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：
1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零
=> 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大
2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库
=> 性能问题，独立程序每隔1分钟会发上万请求到OpenResty
3、基于access.log来做日志分析
=> 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案

--

--

lancelijade

我觉得 @Ming 的方法更好
1. 外部获取域名列表，避免 get_keys 操作
2. 外部程序容易控制并发重试周期等，相比之下 timer 在内部自己转并不真正节约资源，还容易因为各种原因中断死掉，还需要设置重试检测重启机制

Lance

2016-07-22 22:22 GMT+08:00 DeJiang Zhu <douj...@gmail.com>:

Hello

我觉得第一种挺好
如果担心一次处理太多，可以每次取 100 个key，sleep 0.1s

https://github.com/openresty/lua-nginx-module#ngxshareddictget_keys

在 2016年7月22日下午6:18，Ming <moonb...@gmail.com>写道：
看上去第二种方法可以。用独立的程序，那么它就可以先获取到域名列表，避免了对 shared dict 的遍历；每次通过 API 调用获取 100 个域名的 QPS，也就是每分钟 100 次 API 调用。

在 2016年7月22日下午3:13，nikua...@gmail.com <niku...@gmail.com>写道：
Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：
1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零
=> 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大
2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库
=> 性能问题，独立程序每隔1分钟会发上万请求到OpenResty
3、基于access.log来做日志分析
=> 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案

--

--

--

wd

不考虑用 redis 吗？

通过 ngx 直接写 redis，然后外部程序去读 redis 好了，怎么都不会影响你的 ngx。

2016-07-23 15:24 GMT+08:00 Lance <lance...@gmail.com>:

我觉得 @Ming 的方法更好
1. 外部获取域名列表，避免 get_keys 操作
2. 外部程序容易控制并发重试周期等，相比之下 timer 在内部自己转并不真正节约资源，还容易因为各种原因中断死掉，还需要设置重试检测重启机制

Lance

2016-07-22 22:22 GMT+08:00 DeJiang Zhu <douj...@gmail.com>:
Hello

我觉得第一种挺好
如果担心一次处理太多，可以每次取 100 个key，sleep 0.1s

https://github.com/openresty/lua-nginx-module#ngxshareddictget_keys

在 2016年7月22日下午6:18，Ming <moonb...@gmail.com>写道：
看上去第二种方法可以。用独立的程序，那么它就可以先获取到域名列表，避免了对 shared dict 的遍历；每次通过 API 调用获取 100 个域名的 QPS，也就是每分钟 100 次 API 调用。

在 2016年7月22日下午3:13，nikua...@gmail.com <niku...@gmail.com>写道：
Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：
1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零
=> 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大
2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库
=> 性能问题，独立程序每隔1分钟会发上万请求到OpenResty
3、基于access.log来做日志分析
=> 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案

--

--

--

--

nikuailema

那怎么写Redis呢？是来一个HTTP请求就写一次Redis呢，还是一分钟到期后再把这分钟的总请求数写Redis呢？好像又回到老问题上了

汪利福

Sent from
https://polymail.io/

On 2016年7月23日 周六 at 下午8:13 wd

<
mailto:wd <...@wdicc.com>
> wrote:

不考虑用 redis 吗？

通过 ngx 直接写 redis，然后外部程序去读 redis 好了，怎么都不会影响你的 ngx。

2016-07-23 15:24 GMT+08:00 Lance

<
mailto:lance...@gmail.com
>

:

我觉得 @Ming 的方法更好

1. 外部获取域名列表，避免 get_keys 操作

2. 外部程序容易控制并发重试周期等，相比之下 timer 在内部自己转并不真正节约资源，还容易因为各种原因中断死掉，还需要设置重试检测重启机制

Lance

2016-07-22 22:22 GMT+08:00 DeJiang Zhu

<
mailto:douj...@gmail.com
>

:

Hello

我觉得第一种挺好

如果担心一次处理太多，可以每次取 100 个key，sleep 0.1s

https://github.com/openresty/lua-nginx-module#ngxshareddictget_keys

在 2016年7月22日 下午6:18，Ming

<
mailto:moonb...@gmail.com
>

写道：

看上去第二种方法可以。用独立的程序，那么它就可以先获取到域名列表，避免了对 shared dict 的遍历；每次通过 API 调用获取 100 个域名的 QPS，也就是每分钟 100 次 API 调用。

在 2016年7月22日 下午3:13，
mailto:nikua...@gmail.com
<
mailto:niku...@gmail.com
>

写道：

Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：

1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零

      => 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大

2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库

      => 性能问题，独立程序每隔1分钟会发上万请求到OpenResty

3、基于access.log来做日志分析

      => 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案

--

--

--

--

--

wd

每个 http 请求都执行一下 redis 的 incr

你是担心性能？按说瓶颈不会在这里，可以测试下看看。。

2016-07-24 12:58 GMT+08:00 汪利福 <niku...@gmail.com>:

那怎么写Redis呢？是来一个HTTP请求就写一次Redis呢，还是一分钟到期后再把这分钟的总请求数写Redis呢？好像又回到老问题上了

汪利福
Sent from Polymail

On 2016年7月23日周六 at 下午8:13 wd <wd > wrote:
不考虑用 redis 吗？
通过 ngx 直接写 redis，然后外部程序去读 redis 好了，怎么都不会影响你的 ngx。

2016-07-23 15:24 GMT+08:00 Lance <lance...@gmail.com>:
我觉得 @Ming 的方法更好
1. 外部获取域名列表，避免 get_keys 操作
2. 外部程序容易控制并发重试周期等，相比之下 timer 在内部自己转并不真正节约资源，还容易因为各种原因中断死掉，还需要设置重试检测重启机制

Lance

2016-07-22 22:22 GMT+08:00 DeJiang Zhu <douj...@gmail.com>:
Hello

我觉得第一种挺好
如果担心一次处理太多，可以每次取 100 个key，sleep 0.1s

https://github.com/openresty/lua-nginx-module#ngxshareddictget_keys

在 2016年7月22日下午6:18，Ming <moonb...@gmail.com>写道：
看上去第二种方法可以。用独立的程序，那么它就可以先获取到域名列表，避免了对 shared dict 的遍历；每次通过 API 调用获取 100 个域名的 QPS，也就是每分钟 100 次 API 调用。

在 2016年7月22日下午3:13，nikua...@gmail.com <niku...@gmail.com>写道：
Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：
1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零
=> 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大
2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库
=> 性能问题，独立程序每隔1分钟会发上万请求到OpenResty
3、基于access.log来做日志分析
=> 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案

--

--

--

--

--

moonbingbing

每次操作 redis 肯定比 shared dict 慢的多

在 2016年7月25日下午1:29，wd <...@wdicc.com>写道：

每个 http 请求都执行一下 redis 的 incr
你是担心性能？按说瓶颈不会在这里，可以测试下看看。。

2016-07-24 12:58 GMT+08:00 汪利福 <niku...@gmail.com>:
那怎么写Redis呢？是来一个HTTP请求就写一次Redis呢，还是一分钟到期后再把这分钟的总请求数写Redis呢？好像又回到老问题上了

汪利福
Sent from Polymail

On 2016年7月23日周六 at 下午8:13 wd <wd > wrote:
不考虑用 redis 吗？
通过 ngx 直接写 redis，然后外部程序去读 redis 好了，怎么都不会影响你的 ngx。

2016-07-23 15:24 GMT+08:00 Lance <lance...@gmail.com>:
我觉得 @Ming 的方法更好
1. 外部获取域名列表，避免 get_keys 操作
2. 外部程序容易控制并发重试周期等，相比之下 timer 在内部自己转并不真正节约资源，还容易因为各种原因中断死掉，还需要设置重试检测重启机制

Lance

2016-07-22 22:22 GMT+08:00 DeJiang Zhu <douj...@gmail.com>:
Hello

我觉得第一种挺好
如果担心一次处理太多，可以每次取 100 个key，sleep 0.1s

https://github.com/openresty/lua-nginx-module#ngxshareddictget_keys

在 2016年7月22日下午6:18，Ming <moonb...@gmail.com>写道：
看上去第二种方法可以。用独立的程序，那么它就可以先获取到域名列表，避免了对 shared dict 的遍历；每次通过 API 调用获取 100 个域名的 QPS，也就是每分钟 100 次 API 调用。

在 2016年7月22日下午3:13，nikua...@gmail.com <niku...@gmail.com>写道：
Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：
1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零
=> 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大
2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库
=> 性能问题，独立程序每隔1分钟会发上万请求到OpenResty
3、基于access.log来做日志分析
=> 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案

--

--

--

--

--

--

yuansheng

2016-07-22 22:22 GMT+08:00 DeJiang Zhu <douj...@gmail.com>:

Hello

我觉得第一种挺好
如果担心一次处理太多，可以每次取 100 个key，sleep 0.1s

https://github.com/openresty/lua-nginx-module#ngxshareddictget_keys

这个 sleep 有点闹心，有可能因为休息了 0.1s，最后导致数据永远也获取不完。因为当前域名刚被取走，新的统计数据 0.1s 后又补充了，无法遍历获取。

在 2016年7月22日下午6:18，Ming <moonb...@gmail.com>写道：
看上去第二种方法可以。用独立的程序，那么它就可以先获取到域名列表，避免了对 shared dict 的遍历；每次通过 API 调用获取 100 个域名的 QPS，也就是每分钟 100 次 API 调用。

在 2016年7月22日下午3:13，nikua...@gmail.com <niku...@gmail.com>写道：
Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：
1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零
=> 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大
2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库
=> 性能问题，独立程序每隔1分钟会发上万请求到OpenResty
3、基于access.log来做日志分析
=> 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案

--

--

--

YuanSheng Wang

---------------------------------------

My Github: https://github.com/membphis

OpenResty lover ^_^

anjia0532

有没有考虑用类似 https://github.com/cloudflare/lua-resty-logger-socket 这种的非阻塞log框架，用udp(需要注意64K限制问题)，发送到日志采集服务器上，e.g. elk stack？

避免了3的io阻塞问题

避免了2中存在的类ddos的请求洪峰(sleep方案，或者分组都有各自缺陷)

避免了1中ngx.timer挂掉，或者取出未落库(e.g. 数据库卡住)时新数据又写入dict导致的问题。

然后现在 nginx-1.13.4 中增加了ngx_http_mirror_module , 可以把真实流量镜像到测试服务器上，进行压测，注意看各方面的指标。如果因为实际环境导致不能升级nginx版本，可以考虑用类似tcpcopy等框架，录播或者实时镜像流量（甚至可以放大），进行实际压测。会比类似ab等工具给的数据更真实可信

在 2016年7月22日星期五 UTC+8下午3:13:53，nikua...@gmail.com写道：

Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：
1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零
=> 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大
2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库
=> 性能问题，独立程序每隔1分钟会发上万请求到OpenResty
3、基于access.log来做日志分析
=> 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案

lihongtao988

1 创建一个couter.lua模块，在counter模块里面放一个成员变量local data="" 按域名做个table计数。提供inc(domain)方法，里面判断if data[domain]: data[domain]=data[domain]+1 else data[domain]=0 end。

2 init_worker_by_lua创建一个timer，每分钟将counter模块的data和一个空table swap，对swap出来的data遍历所有的key，把值利用redis的incrby原子特性增加到原来的值上面。

这样计数是在lua里面做的每秒钟几百万都很轻松，另外由于每分钟才操作一次redis，压力可以忽略不计。这个思路已经在我们的产品环境运行，一切正常。

在 2016年7月22日星期五 UTC+8下午3:13:53，nikua...@gmail.com写道：

Hi，春哥

现在在用OpenResty搭建一个代理服务器，为上万域名提供代理反向代理，需要统计下每个域名的访问请求频率（以分钟为单位统计），统计结果写入到数据库里。

每个域名的QPS写入到ngx.shared.DICT里，以域名为KEY，目前纠结的是如何触发写数据库操作，有下面几种方案：
1、只使用一个ngx.timer，每分钟触发后遍历该DICT里的所有记录，并写入到数据库里，同时记数清零
=> 怕性能有很大问题，因为域名数是上万的，遍历的话性能消耗大
2、在OpenResty外部弄一个独立程序，每隔一分钟主动去请求OpenResty获取单个域名的QPS，由这个独立程序写入数据库
=> 性能问题，独立程序每隔1分钟会发上万请求到OpenResty
3、基于access.log来做日志分析
=> 磁盘性能问题，因为每秒HTTP请求数可能很大，10W以上

想听听你的意见，看看有没有更好的解决方案