如何在access阶段统计最近1分钟内访问的ip数量

millken

访问量的统计好做，直接用dict:incr("req", 1)。如果是统计唯一ip数，大家有什么好的方法？

millken

我能想到的是

local ip_list_dict = ngx.shared.ip_list
local client_ip = ngx.var.remote_addr

local ok, err = ip_list_dict:incr("total", 0)
if not ok then
    ip_list_dict:flush_all()
    ip_list_dict:add("total", 0, 60)
end
local ok, err = ip_list_dict:safe_add(client_ip, 1)
if not ok then
    ip_list_dict:incr("total", 1)
end

在 2016年1月27日星期三 UTC+8下午3:55:00，Millken Chen写道：

访问量的统计好做，直接用dict:incr("req", 1)。如果是统计唯一ip数，大家有什么好的方法？

doujiang24

Hello,

在 2016年1月27日下午4:18，Millken Chen <mil...@gmail.com>写道：

我能想到的是
local ip_list_dict = ngx.shared.ip_list local client_ip = ngx.var.remote_addr local ok, err = ip_list_dict:incr("total", 0) if not ok then ip_list_dict:flush_all() ip_list_dict:add("total", 0, 60) end local ok, err = ip_list_dict:safe_add(client_ip, 1) if not ok then ip_list_dict:incr("total", 1) end

你这个实现里，有一个比较危险的：flush_all 是 O(n) 的操作，应该尽量避免的

有一个思路：

dict:add(client_ip, true, ttl)

-- 没错，布尔值比双精度短一些

-- ttl 可以动态计算出来，在你的计算区间内有效即可

-- dict 容量足够大的话，不需要担心 add 会 force remove

在 2016年1月27日星期三 UTC+8下午3:55:00，Millken Chen写道：
访问量的统计好做，直接用dict:incr("req", 1)。如果是统计唯一ip数，大家有什么好的方法？

--

millken

Hi, doujiang
我做了个测试add,flush_all 1000000的性能

ffi = require("ffi")
ffi.cdef[[
    typedef long time_t;
 
     typedef struct timeval {
        time_t tv_sec;
        time_t tv_usec;
    } timeval;
 
    int gettimeofday(struct timeval* t, void* tzp);
]]
 
gettimeofday_struct = ffi.new("timeval")

local function gettimeofday()
     ffi.C.gettimeofday(gettimeofday_struct, nil)
     return tonumber(gettimeofday_struct.tv_sec) * 1000000 + tonumber(gettimeofday_struct.tv_usec)
end
local t0 = gettimeofday()
local stats = ngx.shared.stats
local i
for i = 1,1000000 do
    stats:add("stats"..i, true)
end
local t1 = gettimeofday()
ngx.say("shm add runtime: " .. (t1 - t0) / 1000 .. "ms")
stats:flush_all()
local t2 = gettimeofday()
ngx.say("shm flush_all runtime: " .. (t2 - t1) / 1000 .. "ms")

shm add runtime: 1937.472ms
shm flush_all runtime: 2.462ms

貌似还行，基本不会影响到这个访问。

在 2016年1月28日星期四 UTC+8上午10:17:20，doujiang写道：

Hello,

在 2016年1月27日下午4:18，Millken Chen <mil...@gmail.com>写道：
我能想到的是
local ip_list_dict = ngx.shared.ip_list local client_ip = ngx.var.remote_addr local ok, err = ip_list_dict:incr("total", 0) if not ok then ip_list_dict:flush_all() ip_list_dict:add("total", 0, 60) end local ok, err = ip_list_dict:safe_add(client_ip, 1) if not ok then ip_list_dict:incr("total", 1) end

你这个实现里，有一个比较危险的：flush_all 是 O(n) 的操作，应该尽量避免的

有一个思路：

dict:add(client_ip, true, ttl)
-- 没错，布尔值比双精度短一些
-- ttl 可以动态计算出来，在你的计算区间内有效即可
-- dict 容量足够大的话，不需要担心 add 会 force remove

在 2016年1月27日星期三 UTC+8下午3:55:00，Millken Chen写道：
访问量的统计好做，直接用dict:incr("req", 1)。如果是统计唯一ip数，大家有什么好的方法？

--

millken

再优化下，使用timer来flush_all()

local ip_list_dict = ngx.shared.ip_list
local ngx_timer_at = ngx.timer.at
local client_ip = ngx.var.remote_addr
local function flush_all()
    ip_list_dict:flush_all()
end
local ok, err = ip_list_dict:incr("total", 0)
if not ok then
   ngx_timer_at(0, flush_all)
    ip_list_dict:add("total", 0, 60)
end
local ok, err = ip_list_dict:safe_add(client_ip, 1)
if ok then
    ip_list_dict:incr("total", 1)
end

doujiang24

Hello,

在 2016年1月28日下午2:04，Millken Chen <mil...@gmail.com>写道：

Hi, doujiang
我做了个测试add,flush_all 1000000的性能
ffi = require("ffi") ffi.cdef[[ typedef long time_t; typedef struct timeval { time_t tv_sec; time_t tv_usec; } timeval; int gettimeofday(struct timeval* t, void* tzp); ]] gettimeofday_struct = ffi.new("timeval") local function gettimeofday() ffi.C.gettimeofday(gettimeofday_struct, nil) return tonumber(gettimeofday_struct.tv_sec) * 1000000 + tonumber(gettimeofday_struct.tv_usec) end local t0 = gettimeofday() local stats = ngx.shared.stats local i for i = 1,1000000 do stats:add("stats"..i, true) end local t1 = gettimeofday() ngx.say("shm add runtime: " .. (t1 - t0) / 1000 .. "ms") stats:flush_all() local t2 = gettimeofday() ngx.say("shm flush_all runtime: " .. (t2 - t1) / 1000 .. "ms")
shm add runtime: 1937.472ms
shm flush_all runtime: 2.462ms

貌似还行，基本不会影响到这个访问。

shdict 只有共享内存读取，虽然是 O(n)，但是时间也不会很长

只是需要注意的是，这个 CPU 阻塞是整个 worker 的，当前这个 woker 的所有请求都会多上这个延时

（如果其他 worker 也要操作这个 shdict，那么锁会阻塞住这些 worker，基本也就是整个 nginx server 了）

即使，你放入 timer 也一样

在 2016年1月28日星期四 UTC+8上午10:17:20，doujiang写道：
Hello,

在 2016年1月27日下午4:18，Millken Chen <mil...@gmail.com>写道：
我能想到的是
local ip_list_dict = ngx.shared.ip_list local client_ip = ngx.var.remote_addr local ok, err = ip_list_dict:incr("total", 0) if not ok then ip_list_dict:flush_all() ip_list_dict:add("total", 0, 60) end local ok, err = ip_list_dict:safe_add(client_ip, 1) if not ok then ip_list_dict:incr("total", 1) end

你这个实现里，有一个比较危险的：flush_all 是 O(n) 的操作，应该尽量避免的

有一个思路：

dict:add(client_ip, true, ttl)
-- 没错，布尔值比双精度短一些
-- ttl 可以动态计算出来，在你的计算区间内有效即可
-- dict 容量足够大的话，不需要担心 add 会 force remove

在 2016年1月27日星期三 UTC+8下午3:55:00，Millken Chen写道：
访问量的统计好做，直接用dict:incr("req", 1)。如果是统计唯一ip数，大家有什么好的方法？

--
--

doujiang24

所以，一般都会尽量规避这些操作

当然，如果流量不大，要求不高也无所谓

或者 dict 够小，也无所谓了

在 2016年1月28日下午6:39，DeJiang Zhu <douj...@gmail.com>写道：

Hello,
在 2016年1月28日下午2:04，Millken Chen <mil...@gmail.com>写道：
Hi, doujiang
我做了个测试add,flush_all 1000000的性能
ffi = require("ffi") ffi.cdef[[ typedef long time_t; typedef struct timeval { time_t tv_sec; time_t tv_usec; } timeval; int gettimeofday(struct timeval* t, void* tzp); ]] gettimeofday_struct = ffi.new("timeval") local function gettimeofday() ffi.C.gettimeofday(gettimeofday_struct, nil) return tonumber(gettimeofday_struct.tv_sec) * 1000000 + tonumber(gettimeofday_struct.tv_usec) end local t0 = gettimeofday() local stats = ngx.shared.stats local i for i = 1,1000000 do stats:add("stats"..i, true) end local t1 = gettimeofday() ngx.say("shm add runtime: " .. (t1 - t0) / 1000 .. "ms") stats:flush_all() local t2 = gettimeofday() ngx.say("shm flush_all runtime: " .. (t2 - t1) / 1000 .. "ms")
shm add runtime: 1937.472ms
shm flush_all runtime: 2.462ms

貌似还行，基本不会影响到这个访问。
shdict 只有共享内存读取，虽然是 O(n)，但是时间也不会很长

只是需要注意的是，这个 CPU 阻塞是整个 worker 的，当前这个 woker 的所有请求都会多上这个延时
（如果其他 worker 也要操作这个 shdict，那么锁会阻塞住这些 worker，基本也就是整个 nginx server 了）
即使，你放入 timer 也一样
在 2016年1月28日星期四 UTC+8上午10:17:20，doujiang写道：
Hello,

在 2016年1月27日下午4:18，Millken Chen <mil...@gmail.com>写道：
我能想到的是
local ip_list_dict = ngx.shared.ip_list local client_ip = ngx.var.remote_addr local ok, err = ip_list_dict:incr("total", 0) if not ok then ip_list_dict:flush_all() ip_list_dict:add("total", 0, 60) end local ok, err = ip_list_dict:safe_add(client_ip, 1) if not ok then ip_list_dict:incr("total", 1) end

你这个实现里，有一个比较危险的：flush_all 是 O(n) 的操作，应该尽量避免的

有一个思路：

dict:add(client_ip, true, ttl)
-- 没错，布尔值比双精度短一些
-- ttl 可以动态计算出来，在你的计算区间内有效即可
-- dict 容量足够大的话，不需要担心 add 会 force remove

在 2016年1月27日星期三 UTC+8下午3:55:00，Millken Chen写道：
访问量的统计好做，直接用dict:incr("req", 1)。如果是统计唯一ip数，大家有什么好的方法？

--
--

cuiweixie

基数统计，可以考虑用redis的hyperloglog,就算ip无数，也无压力

http://www.yiibai.com/redis/redis_hyperloglog.html

在 2016年1月27日星期三 UTC+8下午3:55:00，Millken Chen写道：

访问量的统计好做，直接用dict:incr("req", 1)。如果是统计唯一ip数，大家有什么好的方法？