咨询body_filter_by_lua_file 中使用ngx.re.match ngx.arg[1]

li.huang · 2013-07-05T20:39:41+00:00

Hello! 2013/7/4 刘宏: > ngx_lua版本是 v0.7.19 > 代码如下 > nginx.conf配置如...

咨询body_filter_by_lua_file 中使用ngx.re.match ngx.arg[1]

li.huang

是不是我用的有问题，如果ngx.arg[1]是proxy_cache返回的，ngx.re.match才能匹配成功，如果ngx.arg[1]是原站返回的，ngx.re.match就无法成功。

下面给出出问题的代码片段

local aname, err = ngx.re.match(ngx.arg[1], [=[<title>([^>\-]+) \-.* AAAAAA]=]) ------该行总能成功

if aname then

aname[1] = string.gsub (aname[1], "/", "\\/") -------aname[1]是中文词

ngx.log(ngx.ERR, "ngx.arg[1] aname: ", aname[1])

local id, err = ngx.re.match(ngx.arg[1], [=[id=([0-9]+)">[^<>]+</a><em>[^<>]+</em>[^<>]+</div>]=]) ------该行只在ngx.arg[1]是proxy_cache返回时，才成功

春哥，救命！

agentzh

Hello!

2013/7/5 黄力:
> 是不是我用的有问题，如果ngx.arg[1]是proxy_cache返回的，ngx.re.match才能匹配成功，如果ngx.arg[1]是原站返回的，ngx.re.match就无法成功。
>

什么叫做“无法成功”？你看到了什么现象？遇见了什么错误？

值得一提的是，你应当总是检查 ngx.arg[1] 是否为 nil，因为如果当前的数据块并不包含响应数据的话，比如标记了 sync,
flush 或者 eof 标志的特殊数据块，ngx.arg[1] 便会为 nil，此时你应当跳过当前的数据块。

Regards,
-agentzh

li.huang

在 2013年7月9日星期二UTC+8上午6时11分16秒，agentzh写道：

Hello!

2013/7/5 黄力:
> 是不是我用的有问题，如果ngx.arg[1]是proxy_cache返回的，ngx.re.match才能匹配成功，如果ngx.arg[1]是原站返回的，ngx.re.match就无法成功。
>

什么叫做“无法成功”？你看到了什么现象？遇见了什么错误？

没有错误提示，就是同样一行代码，如果是proxy_cache返回的ngx.arg[1]，就能匹配成功，并取得id值；如果是原站返回的ngx.arg[1]就不能匹配成功。

值得一提的是，你应当总是检查 ngx.arg[1] 是否为 nil，因为如果当前的数据块并不包含响应数据的话，比如标记了 sync,
flush 或者 eof 标志的特殊数据块，ngx.arg[1] 便会为 nil，此时你应当跳过当前的数据块。

如果是这些sync,flush或者eof标志的数据块跳过了，那我怎么能获取有值的ngx.arg[1]？我只希望在命中缓存或者原站回原时都能匹配得到id值。

Regards,
-agentzh

agentzh

Hello!

2013/7/8 黄力:
>> 值得一提的是，你应当总是检查 ngx.arg[1] 是否为 nil，因为如果当前的数据块并不包含响应数据的话，比如标记了 sync,
>> flush 或者 eof 标志的特殊数据块，ngx.arg[1] 便会为 nil，此时你应当跳过当前的数据块。
>
> 如果是这些sync,flush或者eof标志的数据块跳过了，那我怎么能获取有值的ngx.arg[1]？我只希望在命中缓存或者原站回原时都能匹配得到id值。

你不能假设整个响应体数据都是在一个数据块中。事实上，nginx
在发送响应体数据时一般是分块发送的，而且有的数据块里有响应数据，有的数据块则不含有响应数据。而这正是“流式输出”所要求的。你的
body_filter_by_lua 中的 Lua 代码会反复调用；对于 nginx 发送的第一个数据块，你的 Lua
代码都会被调用一次。所以你需要自己在 Lua 代码中进行当前状态的追踪。

引用一下 body_filter_by_lua 的官方文档中的原文：

“Nginx output filters may be called multiple times for a single
request because response body may be delivered in chunks. Thus, the
Lua code specified by in this directive may also run multiple times in
the lifetime of a single HTTP request.”

-agentzh

li.huang

在 2013年7月9日星期二UTC+8上午10时58分36秒，agentzh写道：

Hello!

2013/7/8 黄力:
>> 值得一提的是，你应当总是检查 ngx.arg[1] 是否为 nil，因为如果当前的数据块并不包含响应数据的话，比如标记了 sync,
>> flush 或者 eof 标志的特殊数据块，ngx.arg[1] 便会为 nil，此时你应当跳过当前的数据块。
>
> 如果是这些sync,flush或者eof标志的数据块跳过了，那我怎么能获取有值的ngx.arg[1]？我只希望在命中缓存或者原站回原时都能匹配得到id值。

你不能假设整个响应体数据都是在一个数据块中。事实上，nginx
在发送响应体数据时一般是分块发送的，而且有的数据块里有响应数据，有的数据块则不含有响应数据。而这正是“流式输出”所要求的。你的
body_filter_by_lua 中的 Lua 代码会反复调用；对于 nginx 发送的第一个数据块，你的 Lua
代码都会被调用一次。所以你需要自己在 Lua 代码中进行当前状态的追踪。

能给点代码例子吗？

引用一下 body_filter_by_lua 的官方文档中的原文：

“Nginx output filters may be called multiple times for a single
request because response body may be delivered in chunks. Thus, the
Lua code specified by in this directive may also run multiple times in
the lifetime of a single HTTP request.”

-agentzh

agentzh

Hello!

2013/7/9 黄力:
>
> 能给点代码例子吗 ？

ngx_lua 的官方文档中便有例子：

http://wiki.nginx.org/HttpLuaModule#body_filter_by_lua

你若实在不明白，不妨直接在你的 Lua 代码里使用 ngx.log 或者 print 函数把 ngx.arg[1] 和 ngx.arg[2]
的值直接输出到 nginx 错误日志文件里查看便是了。

Regards,
-agentzh

2631338440

我也遇到，学习kong的写法，ngx.ctx.buff接受就好了。

local chunk, eof = ngx.arg[1], ngx.arg[2]
if eof then
  local body = body_filter.transform_json_body(conf, ngx.ctx.buffer)
  ngx.arg[1] = body
else
  ngx.ctx.buffer = ngx.ctx.buffer..chunk
  ngx.arg[1] = nil
end

在 2013年7月5日星期五 UTC+8下午8:39:40，黄力写道：

是不是我用的有问题，如果ngx.arg[1]是proxy_cache返回的，ngx.re.match才能匹配成功，如果ngx.arg[1]是原站返回的，ngx.re.match就无法成功。

下面给出出问题的代码片段
local aname, err = ngx.re.match(ngx.arg[1], [=[<title>([^>\-]+) \-.* AAAAAA]=]) ------该行总能成功
if aname then
aname[1] = string.gsub (aname[1], "/", "\\/") -------aname[1]是中文词
ngx.log(ngx.ERR, "ngx.arg[1] aname: ", aname[1])
local id, err = ngx.re.match(ngx.arg[1], [=[id=([0-9]+)">[^<>]+</a><em>[^<>]+</em>[^<>]+</div>]=]) ------该行只在ngx.arg[1]是proxy_cache返回时，才成功

春哥，救命！