log_by_lua_file 不执行

toadzhou

lua_package_path "/data0/www/lua/?.lua;;";

server

{

listen 8001;

index index.html index.htm index.php;

root /data0/storage/down/;

lua_code_cache off;

location / {

#access_by_lua_file /data0/www/lua/test.lua;

log_by_lua_file /data0/www/lua/test1.lua;

#limit_rate 10k;

}

location /status {

default_type 'text/plain';

content_by_lua_file /data0/www/lua/test3.lua;

}

test1.lua

=============

local redis = require "redis"

local cache = redis.new()

local ok, err = cache.connect(cache, '127.0.0.1', '6379')

cache:set_timeout(60000)

if not ok then

ngx.say("failed to connect:", err)

return

end

res, err = cache:set("tag", ngx.var.body_bytes_sent)

if not ok then

ngx.say("failed to set tag: ", err)

return

end

local ok, err = cache:close()

if not ok then

ngx.say("failed to close:", err)

return

end

发现我下载url:8001/test.zip 之后他这段没执行，不知道是怎么回事。

smallfish.xy

可以参考下官方文档：http://wiki.nginx.org/HttpLuaModule#log_by_lua

里面已经提到，log_by_lua 不支持 cosocket （这里的 redis 模块）哦。

smallfish http://chenxiaoyu.org

On Tue, Jun 25, 2013 at 5:19 PM, Toad Zhou <toa...@gmail.com> wrote:

lua_package_path "/data0/www/lua/?.lua;;";

server
{
listen 8001;
index index.html index.htm index.php;
root /data0/storage/down/;

lua_code_cache off;
location / {
#access_by_lua_file /data0/www/lua/test.lua;
log_by_lua_file /data0/www/lua/test1.lua;
#limit_rate 10k;
}

location /status {
default_type 'text/plain';
content_by_lua_file /data0/www/lua/test3.lua;
}

}

test1.lua
=============
local redis = require "redis"

local cache = redis.new()

local ok, err = cache.connect(cache, '127.0.0.1', '6379')

cache:set_timeout(60000)

if not ok then
ngx.say("failed to connect:", err)
return
end

res, err = cache:set("tag", ngx.var.body_bytes_sent)

if not ok then
ngx.say("failed to set tag: ", err)
return
end

local ok, err = cache:close()

if not ok then

ngx.say("failed to close:", err)
return
end

发现我下载url:8001/test.zip 之后他这段没执行，不知道是怎么回事。

--
sp;

toadzhou

test1.lua里我这样写也不行。。难到这样也有问题必须用他的lua_shared_dict？那这数据我要怎么实时的存到我的redis里呢？

local res = ngx.location.capture("/set_redis",{args = {key="tag",val=ngx.var.body_bytes_sent}})

if res.status == 200 then

ngx.print(res.body)

end

在 2013年6月25日星期二UTC+8下午5时38分15秒，smallfish写道：

可以参考下官方文档：http://wiki.nginx.org/HttpLuaModule#log_by_lua

里面已经提到，log_by_lua 不支持 cosocket （这里的 redis 模块）哦。

--
smallfish http://chenxiaoyu.org

On Tue, Jun 25, 2013 at 5:19 PM, Toad Zhou <toad...@gmail.com> wrote:

lua_package_path "/data0/www/lua/?.lua;;";

server
{
listen 8001;
index index.html index.htm index.php;
root /data0/storage/down/;

lua_code_cache off;
location / {
#access_by_lua_file /data0/www/lua/test.lua;
log_by_lua_file /data0/www/lua/test1.lua;
#limit_rate 10k;
}

location /status {
default_type 'text/plain';
content_by_lua_file /data0/www/lua/test3.lua;
}

}

test1.lua
=============
local redis = require "redis"

local cache = redis.new()

local ok, err = cache.connect(cache, '127.0.0.1', '6379')

cache:set_timeout(60000)

if not ok then
ngx.say("failed to connect:", err)
return
end

res, err = cache:set("tag", ngx.var.body_bytes_sent)

if not ok then
ngx.say("failed to set tag: ", err)
return
end

local ok, err = cache:close()

if not ok then

ngx.say("failed to close:", err)
return
end

发现我下载url:8001/test.zip 之后他这段没执行，不知道是怎么回事。

--
sp;

smallfish.xy

试试新的api：time.at 吧。不过这个需要小心一些。另外 lua_by_log 文档已经描述哪些场景不能用了哦。

smallfish http://chenxiaoyu.org

2013/6/25 Toad Zhou <toa...@gmail.com>

test1.lua里我这样写也不行。。难到这样也有问题必须用他的lua_shared_dict？那这数据我要怎么实时的存到我的redis里呢？
local res = ngx.location.capture("/set_redis",{args = {key="tag",val=ngx.var.body_bytes_sent}})

if res.status == 200 then
ngx.print(res.body)
end

在 2013年6月25日星期二UTC+8下午5时38分15秒，smallfish写道：

可以参考下官方文档：http://wiki.nginx.org/HttpLuaModule#log_by_lua

里面已经提到，log_by_lua 不支持 cosocket （这里的 redis 模块）哦。

--
smallfish http://chenxiaoyu.org

On Tue, Jun 25, 2013 at 5:19 PM, Toad Zhou <toad...@gmail.com> wrote:

lua_package_path "/data0/www/lua/?.lua;;";

server
{
listen 8001;
index index.html index.htm index.php;
root /data0/storage/down/;

lua_code_cache off;
location / {
#access_by_lua_file /data0/www/lua/test.lua;
log_by_lua_file /data0/www/lua/test1.lua;
#limit_rate 10k;
}

location /status {
default_type 'text/plain';
content_by_lua_file /data0/www/lua/test3.lua;
}

}

test1.lua
=============
local redis = require "redis"

local cache = redis.new()

local ok, err = cache.connect(cache, '127.0.0.1', '6379')

cache:set_timeout(60000)

if not ok then
ngx.say("failed to connect:", err)
return
end

res, err = cache:set("tag", ngx.var.body_bytes_sent)

if not ok then
ngx.say("failed to set tag: ", err)
return
end

local ok, err = cache:close()

if not ok then

ngx.say("failed to close:", err)
return
end

发现我下载url:8001/test.zip 之后他这段没执行，不知道是怎么回事。

--
sp;

--
sp;

toadzhou

time.at ? 求指点

在 2013年6月25日星期二UTC+8下午9时15分48秒，smallfish写道：

试试新的api：time.at 吧。不过这个需要小心一些。另外 lua_by_log 文档已经描述哪些场景不能用了哦。

--
smallfish http://chenxiaoyu.org

2013/6/25 Toad Zhou <toad...@gmail.com>

test1.lua里我这样写也不行。。难到这样也有问题必须用他的lua_shared_dict？那这数据我要怎么实时的存到我的redis里呢？
local res = ngx.location.capture("/set_redis",{args = {key="tag",val=ngx.var.body_bytes_sent}})

if res.status == 200 then
ngx.print(res.body)
end

在 2013年6月25日星期二UTC+8下午5时38分15秒，smallfish写道：

可以参考下官方文档：http://wiki.nginx.org/HttpLuaModule#log_by_lua

里面已经提到，log_by_lua 不支持 cosocket （这里的 redis 模块）哦。

--
smallfish http://chenxiaoyu.org

On Tue, Jun 25, 2013 at 5:19 PM, Toad Zhou <toad...@gmail.com> wrote:

lua_package_path "/data0/www/lua/?.lua;;";

server
{
listen 8001;
index index.html index.htm index.php;
root /data0/storage/down/;

lua_code_cache off;
location / {
#access_by_lua_file /data0/www/lua/test.lua;
log_by_lua_file /data0/www/lua/test1.lua;
#limit_rate 10k;
}

location /status {
default_type 'text/plain';
content_by_lua_file /data0/www/lua/test3.lua;
}

}

test1.lua
=============
local redis = require "redis"

local cache = redis.new()

local ok, err = cache.connect(cache, '127.0.0.1', '6379')

cache:set_timeout(60000)

if not ok then
ngx.say("failed to connect:", err)
return
end

res, err = cache:set("tag", ngx.var.body_bytes_sent)

if not ok then
ngx.say("failed to set tag: ", err)
return
end

local ok, err = cache:close()

if not ok then

ngx.say("failed to close:", err)
return
end

发现我下载url:8001/test.zip 之后他这段没执行，不知道是怎么回事。

--
sp;

--
sp;

toadzhou

如果我存在lua_shared_dict里的话 NGINX重启就没有了。难到说要写成文本？

在 2013年6月25日星期二UTC+8下午9时31分16秒，Toad Zhou写道：

time.at ? 求指点

在 2013年6月25日星期二UTC+8下午9时15分48秒，smallfish写道：
试试新的api：time.at 吧。不过这个需要小心一些。另外 lua_by_log 文档已经描述哪些场景不能用了哦。

--
smallfish http://chenxiaoyu.org

2013/6/25 Toad Zhou <toad...@gmail.com>

test1.lua里我这样写也不行。。难到这样也有问题必须用他的lua_shared_dict？那这数据我要怎么实时的存到我的redis里呢？
local res = ngx.location.capture("/set_redis",{args = {key="tag",val=ngx.var.body_bytes_sent}})

if res.status == 200 then
ngx.print(res.body)
end

在 2013年6月25日星期二UTC+8下午5时38分15秒，smallfish写道：

可以参考下官方文档：http://wiki.nginx.org/HttpLuaModule#log_by_lua

里面已经提到，log_by_lua 不支持 cosocket （这里的 redis 模块）哦。

--
smallfish http://chenxiaoyu.org

On Tue, Jun 25, 2013 at 5:19 PM, Toad Zhou <toad...@gmail.com> wrote:

lua_package_path "/data0/www/lua/?.lua;;";

server
{
listen 8001;
index index.html index.htm index.php;
root /data0/storage/down/;

lua_code_cache off;
location / {
#access_by_lua_file /data0/www/lua/test.lua;
log_by_lua_file /data0/www/lua/test1.lua;
#limit_rate 10k;
}

location /status {
default_type 'text/plain';
content_by_lua_file /data0/www/lua/test3.lua;
}

}

test1.lua
=============
local redis = require "redis"

local cache = redis.new()

local ok, err = cache.connect(cache, '127.0.0.1', '6379')

cache:set_timeout(60000)

if not ok then
ngx.say("failed to connect:", err)
return
end

res, err = cache:set("tag", ngx.var.body_bytes_sent)

if not ok then
ngx.say("failed to set tag: ", err)
return
end

local ok, err = cache:close()

if not ok then

ngx.say("failed to close:", err)
return
end

发现我下载url:8001/test.zip 之后他这段没执行，不知道是怎么回事。

--
sp;

--
sp;

agentzh

Hello!

2013/6/25 Toad Zhou:
> time.at ? 求指点
>

ngx.timer.at 可以参见

    http://wiki.nginx.org/HttpLuaModule#ngx.timer.at

可以在 log_by_lua 中使用 ngx.timer.at(0, callback)，并在 callback 中实时推送数据到
redis. 不过建议最好自己在 worker 级别上稍微缓冲一下日志信息，分批推送到
redis，毕竟对于访问量很高的场景，每请求推送的代价不会低，而且也没有必要（因为并不会影响实时性）。

另外，请养成在出问题时立即检查 nginx 的错误日志文件的好习惯 :)
你那个例子在运行时肯定会在错误日志中产生错误的，除非你不恰当地配置了 error_log 指令 :)

Regards,
-agentzh

agentzh

Hello!

2013/6/25 Toad Zhou:
> 如果我存在lua_shared_dict里的话 NGINX重启就没有了。难到说要写成文本？
>

值得一提的是，ngx_lua 的共享内存字典中的数据在 nginx reload 的时候并不会清空。当然，如果整个 server 退出的话，肯定数据是没有了。

在 CloudFlare，我们使用 shared dict 来存放短时间区间内的统计指标，然后通过 http 接口定时从外部拉结果。更多细节可以参见这篇博客：

    http://blog.cloudflare.com/pushing-nginx-to-its-limit-with-lua

正如我上一封邮件所指出的，使用 log_by_lua + ngx.timer.at 也很容易做到实时推送，但要小心因此而引入的额外开销。

Best regards,
-agentzh

toadzhou

1 local function push_data(premature,val)

2 local redis = require "redis"

3 local cache = redis.new()

4 local ok, err = cache.connect(cache, '127.0.0.1', '6379')

5 cache:set_timeout(60000)

6 if not ok then

7 ngx.say("failed to connect:", err)

8 return

9 end

10 res, err = cache:set("tag", val)

11 if not ok then

12 ngx.say("failed to set tag: ", err)

13 return

14 end

15 local ok, err = cache:close()

16 if not ok then

17 ngx.say("failed to close:", err)

18 return

19 end

20 end

23 local ok, err = ngx.timer.at(5, push_data, ngx.var.body_bytes_sent)

24 if not ok then

25 ngx.log(timer_at error)

26 return

27 end

日志报错

stack traceback:

/data0/www/lua/test1.lua:23: in function </data0/www/lua/test1.lua:1> while logging request, client: 192.168.2.101, server: , request: "GET /down/test.zip HTTP/1.1", host: "192.168.2.20:8001"

在 2013年6月26日星期三UTC+8上午2时53分14秒，agentzh写道：

Hello!

2013/6/25 Toad Zhou:
> 如果我存在lua_shared_dict里的话 NGINX重启就没有了。难到说要写成文本？
>

值得一提的是，ngx_lua 的共享内存字典中的数据在 nginx reload 的时候并不会清空。当然，如果整个 server 退出的话，肯定数据是没有了。

在 CloudFlare，我们使用 shared dict 来存放短时间区间内的统计指标，然后通过 http 接口定时从外部拉结果。更多细节可以参见这篇博客：

http://blog.cloudflare.com/pushing-nginx-to-its-limit-with-lua

正如我上一封邮件所指出的，使用 log_by_lua + ngx.timer.at 也很容易做到实时推送，但要小心因此而引入的额外开销。

Best regards,
-agentzh

agentzh

Hello!

2013/6/25 Toad Zhou:
>       1 local function push_data(premature,val)
>       2     local redis = require "redis"
>       3     local cache = redis.new()
>       4     local ok, err = cache.connect(cache, '127.0.0.1', '6379')
>       5     cache:set_timeout(60000)
>       6     if not ok then
>       7        ngx.say("failed to connect:", err)

ngx.timer.at 注册的回调函数里不允许使用 ngx.say. 请仔细阅读官方文档。

我们退一万步讲，你是在 log_by_lua 里面注册的回调函数，自然此回调函数比 log 阶段更晚执行。而在 log
阶段当前请求已经结束了，此时你再用 ngx.say 去写一个已经结束了的请求的响应体，那你希望写到哪儿去呢？这是不符合逻辑的事情。在
ngx.timer.at 注册的回调函数中应当总是使用 ngx.log() 函数来向错误日志记录错误。

>
> 日志报错
> stack traceback:
>         /data0/www/lua/test1.lua:23: in function
> </data0/www/lua/test1.lua:1> while logging request, client: 192.168.2.101,
> server: , request: "GET /down/test.zip HTTP/1.1", host: "192.168.2.20:8001"
>

真正重要的错误信息是 stack traceback 的前一行日志。很奇怪你这里偏偏没有贴出前一行。我觉得有可能是报 ngx.say
在当前上下文中不能使用，即我上面提到的那个问题。建议仔细查看错误信息。同时确保你已经仔细阅读了官方文档，以节约时间。

在每次请求的 log 阶段使用非零的 timer 是很糟糕的做法，因为大访问量下极容易造成 timer 的快速积压而达到
lua_pending_timers 的限制。所以这里总是使用 0 超时。

Regards,
-agentzh