如何获取 proxy_pass 后的 response?

hao.a.dong

Hi,

我现在有一个转发请求，proxy_pass http://$proxy; 需要在后面获取 proxy_pass 结束后的 response，并将其写入 log 中。请教大家有相关的指令吗？

谢谢！！

guanglinlv

Hi,

我现在有一个转发请求，proxy_pass http://$proxy; 需要在后面获取 proxy_pass 结束后的 response，并将其写入 log 中。请教大家有相关的指令吗？

谢谢！！

可以看下这个：https://github.com/openresty/lua-nginx-module/#body_filter_by_lua

或者使用https://github.com/openresty/lua-nginx-module/#ngxlocationcapture 来替代proxy_pass。

hao.a.dong

在 2016年1月5日星期二 UTC+8下午2:30:17，Guanglin Lv写道：

Hi,

我现在有一个转发请求，proxy_pass http://$proxy; 需要在后面获取 proxy_pass 结束后的 response，并将其写入 log 中。请教大家有相关的指令吗？

谢谢！！

可以看下这个：https://github.com/openresty/lua-nginx-module/#body_filter_by_lua

或者使用https://github.com/openresty/lua-nginx-module/#ngxlocationcapture 来替代proxy_pass。

感谢回复！

我怎么把获取的数据写到本地的一个文件中呢？请问你有经验吗？

guanglinlv

在 2016年1月5日星期二 UTC+8下午2:48:03，hao dong写道：

感谢回复！

我怎么把获取的数据写到本地的一个文件中呢？请问你有经验吗？

如果你使用body_filter_by_lua，你可以在其中使用lua的文件IO来做；

local fp = io.open(your_file_name,"a+")
if fp then
fp:write(body)
fp:close()
end

需要注意的是，如果body是chunked方式传输的，body_filter_by_lua会被调用多次，你的逻辑需要对此做处理；

hao.a.dong

在 2016年1月5日星期二 UTC+8下午3:21:57，Guanglin Lv写道：

在 2016年1月5日星期二 UTC+8下午2:48:03，hao dong写道：

感谢回复！

我怎么把获取的数据写到本地的一个文件中呢？请问你有经验吗？

如果你使用body_filter_by_lua，你可以在其中使用lua的文件IO来做；

local fp = io.open(your_file_name,"a+")
if fp then
fp:write(body)
fp:close()
end

需要注意的是，如果body是chunked方式传输的，body_filter_by_lua会被调用多次，你的逻辑需要对此做处理；

再次感谢！！

hao.a.dong

在 2016年1月5日星期二 UTC+8下午2:14:46，hao dong写道：

Hi,

我现在有一个转发请求，proxy_pass http://$proxy; 需要在后面获取 proxy_pass 结束后的 response，并将其写入 log 中。请教大家有相关的指令吗？

谢谢！！

需求更新了：在获取 proxy_pass 后，将 response 以及其他的信息写入到 rabbitmq 中，看了下，貌似 https://github.com/wingify/lua-resty-rabbitmqstomp 靠谱，但是在 body_filter_by_lua_file 中调用这个代码的时候，会报 API disabled in the context of ，有哪位可以指点下，这时用什么指令，既能获取 response ，又能将 response 写入到 rabbitmq 吗？

谢谢！！！！

doujiang24

Hello,

在 2016年1月5日下午6:12，hao dong <hao....@gmail.com>写道：

需求更新了：在获取 proxy_pass 后，将 response 以及其他的信息写入到 rabbitmq 中，看了下，貌似 https://github.com/wingify/lua-resty-rabbitmqstomp 靠谱，但是在 body_filter_by_lua_file 中调用这个代码的时候，会报 API disabled in the context of ，

我觉得如果出现这么明显的错误，你应该先去查查文档了哈

有哪位可以指点下，这时用什么指令，既能获取 response ，又能将 response 写入到 rabbitmq 吗？

简单的做法是：通过 ngx.timer.at 创建一个 0 延时的 timer，在 timer 内完成发送逻辑

谢谢！！！！

--

hao.a.dong

在 2016年1月5日星期二 UTC+8下午6:57:13，doujiang写道：

Hello,

在 2016年1月5日下午6:12，hao dong <hao.a...@gmail.com>写道：

需求更新了：在获取 proxy_pass 后，将 response 以及其他的信息写入到 rabbitmq 中，看了下，貌似 https://github.com/wingify/lua-resty-rabbitmqstomp 靠谱，但是在 body_filter_by_lua_file 中调用这个代码的时候，会报 API disabled in the context of ，

我觉得如果出现这么明显的错误，你应该先去查查文档了哈

有哪位可以指点下，这时用什么指令，既能获取 response ，又能将 response 写入到 rabbitmq 吗？

简单的做法是：通过 ngx.timer.at 创建一个 0 延时的 timer，在 timer 内完成发送逻辑

谢谢！！！！

--

感谢回复！那个报错的原因应该是在 body_filter_by_lua_file 之中调用的代码，不能包含 rabbitmqstomp.lua 中的 local sock, err = tcp() 这一行代码。

所以我的思路是两种：1.继续使用这个开源代码，但是使用一个别的指令，能够兼容 rabbitmqstomp.lua 的。 2. 继续使用 body_filter_by_lua_file 这个指令，但是使用别的方法来向 rabbitmq 发送消息。

这个能用 ngx.timer.at 实现吗？能具体阐述下吗？

谢谢！！！

yuansheng

所以你完全可以在 body_filter_by_lua_file 通过 ngx.timer.at 方式，变向可以使用 cosocket 的。

官网例子：

location / {
     ...
     log_by_lua '
         local function push_data(premature, uri, args, status)
             -- push the data uri, args, and status to the remote
             -- via ngx.socket.tcp or ngx.socket.udp
             -- (one may want to buffer the data in Lua a bit to
             -- save I/O operations)
         end
         local ok, err = ngx.timer.at(0, push_data,
                                      ngx.var.uri, ngx.var.args, ngx.header.status)
         if not ok then
             ngx.log(ngx.ERR, "failed to create timer: ", err)
             return
         end
     ';
 }

ngx.timer.at

语法: ok, err = ngx.timer.at(delay, callback, user_arg1, user_arg2, ...)

环境: init_worker_by_lua, set_by_lua, rewrite_by_lua, access_by_lua, content_by_lua, header_filter_by_lua, body_filter_by_lua, log_by_lua, ngx.timer.*

https://github.com/iresty/nginx-lua-module-zh-wiki/blob/master/doc/ngxtimerat.md

2016-01-05 19:27 GMT+08:00 hao dong <hao....@gmail.com>:

在 2016年1月5日星期二 UTC+8下午6:57:13，doujiang写道：
Hello,

在 2016年1月5日下午6:12，hao dong <hao.a...@gmail.com>写道：

需求更新了：在获取 proxy_pass 后，将 response 以及其他的信息写入到 rabbitmq 中，看了下，貌似 https://github.com/wingify/lua-resty-rabbitmqstomp 靠谱，但是在 body_filter_by_lua_file 中调用这个代码的时候，会报 API disabled in the context of ，

我觉得如果出现这么明显的错误，你应该先去查查文档了哈

有哪位可以指点下，这时用什么指令，既能获取 response ，又能将 response 写入到 rabbitmq 吗？

简单的做法是：通过 ngx.timer.at 创建一个 0 延时的 timer，在 timer 内完成发送逻辑

谢谢！！！！

--

感谢回复！那个报错的原因应该是在 body_filter_by_lua_file 之中调用的代码，不能包含 rabbitmqstomp.lua 中的 local sock, err = tcp() 这一行代码。

所以我的思路是两种：1.继续使用这个开源代码，但是使用一个别的指令，能够兼容 rabbitmqstomp.lua 的。 2. 继续使用 body_filter_by_lua_file 这个指令，但是使用别的方法来向 rabbitmq 发送消息。

这个能用 ngx.timer.at 实现吗？能具体阐述下吗？

谢谢！！！

--

YuanSheng Wang

---------------------------------------

My Github: https://github.com/membphis

OpenResty lover ^_^

guanglinlv

在 2016年1月5日星期二 UTC+8下午6:12:27，hao dong写道：

在 2016年1月5日星期二 UTC+8下午2:14:46，hao dong写道：
Hi,

我现在有一个转发请求，proxy_pass http://$proxy; 需要在后面获取 proxy_pass 结束后的 response，并将其写入 log 中。请教大家有相关的指令吗？

谢谢！！

需求更新了：在获取 proxy_pass 后，将 response 以及其他的信息写入到 rabbitmq 中，看了下，貌似 https://github.com/wingify/lua-resty-rabbitmqstomp 靠谱，但是在 body_filter_by_lua_file 中调用这个代码的时候，会报 API disabled in the context of ，有哪位可以指点下，这时用什么指令，既能获取 response ，又能将 response 写入到 rabbitmq 吗？

谢谢！！！！

不清楚你具体的业务场景，但你可以有以下两种选择：

1、继续使用body_filter_by_lua_file+ngx.timer来实现将响应发送给第三方存储；当然如果是chunked响应，你可能要考虑时序或拼接问题；

2、使用ngx.location.capture或者lua-resty-http来替代proxy_pass做请求的转发，当然前者有些场景限制，后者算是支持的比较完善，但限于cosocket是没办法转发chunked请求体；

总而言之，根据自己的实际需求，选择最适合自己的方法；

hao.a.dong

感谢回复！

现在正考虑使用 ngx.timer.at + cosocket 的方式来向 rabbitmq 中写数据，也在想是不是使用 redis 作为中介转一下。

在 2016年1月5日星期二 UTC+8下午9:21:46，YuanSheng写道：

所以你完全可以在 body_filter_by_lua_file 通过 ngx.timer.at 方式，变向可以使用 cosocket 的。

官网例子：
location / {
     ...
     log_by_lua '
         local function push_data(premature, uri, args, status)
             -- push the data uri, args, and status to the remote
             -- via ngx.socket.tcp or ngx.socket.udp
             -- (one may want to buffer the data in Lua a bit to
             -- save I/O operations)
         end
         local ok, err = ngx.timer.at(0, push_data,
                                      ngx.var.uri, ngx.var.args, ngx.header.status)
         if not ok then
             ngx.log(ngx.ERR, "failed to create timer: ", err)
             return
         end
     ';
 }
ngx.timer.at
语法: ok, err = ngx.timer.at(delay, callback, user_arg1, user_arg2, ...)
环境: init_worker_by_lua, set_by_lua, rewrite_by_lua, access_by_lua, content_by_lua, header_filter_by_lua, body_filter_by_lua, log_by_lua, ngx.timer.*
https://github.com/iresty/nginx-lua-module-zh-wiki/blob/master/doc/ngxtimerat.md
2016-01-05 19:27 GMT+08:00 hao dong <hao.a...@gmail.com>:

在 2016年1月5日星期二 UTC+8下午6:57:13，doujiang写道：
Hello,

在 2016年1月5日下午6:12，hao dong <hao.a...@gmail.com>写道：

需求更新了：在获取 proxy_pass 后，将 response 以及其他的信息写入到 rabbitmq 中，看了下，貌似 https://github.com/wingify/lua-resty-rabbitmqstomp 靠谱，但是在 body_filter_by_lua_file 中调用这个代码的时候，会报 API disabled in the context of ，

我觉得如果出现这么明显的错误，你应该先去查查文档了哈

有哪位可以指点下，这时用什么指令，既能获取 response ，又能将 response 写入到 rabbitmq 吗？

简单的做法是：通过 ngx.timer.at 创建一个 0 延时的 timer，在 timer 内完成发送逻辑

谢谢！！！！

--

感谢回复！那个报错的原因应该是在 body_filter_by_lua_file 之中调用的代码，不能包含 rabbitmqstomp.lua 中的 local sock, err = tcp() 这一行代码。

所以我的思路是两种：1.继续使用这个开源代码，但是使用一个别的指令，能够兼容 rabbitmqstomp.lua 的。 2. 继续使用 body_filter_by_lua_file 这个指令，但是使用别的方法来向 rabbitmq 发送消息。

这个能用 ngx.timer.at 实现吗？能具体阐述下吗？

谢谢！！！

--

--

YuanSheng Wang
---------------------------------------
My Github: https://github.com/membphis
OpenResty lover ^_^

hao.a.dong

感谢回复！

在另一个帖子里也发现了这个问题，正在做对于 chunk 回应的拼接工作。

感谢提示使用别的指令，我要再权衡看下，谢谢。

在 2016年1月6日星期三 UTC+8上午9:12:59，Guanglin Lv写道：

在 2016年1月5日星期二 UTC+8下午6:12:27，hao dong写道：

在 2016年1月5日星期二 UTC+8下午2:14:46，hao dong写道：
Hi,

我现在有一个转发请求，proxy_pass http://$proxy; 需要在后面获取 proxy_pass 结束后的 response，并将其写入 log 中。请教大家有相关的指令吗？

谢谢！！

需求更新了：在获取 proxy_pass 后，将 response 以及其他的信息写入到 rabbitmq 中，看了下，貌似 https://github.com/wingify/lua-resty-rabbitmqstomp 靠谱，但是在 body_filter_by_lua_file 中调用这个代码的时候，会报 API disabled in the context of ，有哪位可以指点下，这时用什么指令，既能获取 response ，又能将 response 写入到 rabbitmq 吗？

谢谢！！！！

不清楚你具体的业务场景，但你可以有以下两种选择：

1、继续使用body_filter_by_lua_file+ngx.timer来实现将响应发送给第三方存储；当然如果是chunked响应，你可能要考虑时序或拼接问题；

2、使用ngx.location.capture或者lua-resty-http来替代proxy_pass做请求的转发，当然前者有些场景限制，后者算是支持的比较完善，但限于cosocket是没办法转发chunked请求体；

总而言之，根据自己的实际需求，选择最适合自己的方法；

agentzh

Hello!

2016-01-05 18:18 GMT-08:00 hao dong:
> 现在正考虑使用 ngx.timer.at + cosocket 的方式来向 rabbitmq 中写数据，也在想是不是使用 redis 作为中介转一下。
>

值得一提的是，尽量避免每请求都触发一次 timer 创建和 cosocket 操作，因为那样开销比较大。可能的话，自己在 Lua
里面作缓冲，进行批处理。可以参考 lua-resty-logger-socket 库里的玩法。

Regards,
-agentzh

hao.a.dong

Hi,

谢春哥提醒。本来想做的就是将 upstream 的 response 以及一些时间戳写到 rabbitmq 中，目前 body_filter_by_lua + ngx.timer.at + cosocket 这样的方案选择是不是绕远路了呢？

在 2016年1月6日星期三 UTC+8上午10:21:20，agentzh写道：

Hello!

值得一提的是，尽量避免每请求都触发一次 timer 创建和 cosocket 操作，因为那样开销比较大。可能的话，自己在 Lua
里面作缓冲，进行批处理。可以参考 lua-resty-logger-socket 库里的玩法。

Regards,
-agentzh

agentzh

Hello!

2016-01-05 18:44 GMT-08:00 hao dong:
> 谢春哥提醒。本来想做的就是将 upstream 的 response 以及一些时间戳写到 rabbitmq 中，目前
> body_filter_by_lua  + ngx.timer.at + cosocket 这样的方案选择是不是绕远路了呢？
>

如果你使用流式处理的话，是最高性能的选择。

但我不得不提醒你的是，记录上游的全量响应体的开销很可能会大于你的 nginx 服务上游响应本身，特别是当响应体很大的时候，这无论你使用何种技术方案。

Regards,
-agentzh

hao.a.dong

hi,

刚跟同事讨论了下，他认为可以在 nginx 开始阶段声明一个全局的 rabbitmq 的句柄，然后一直使用这个句柄。有这样做的方式？？

在 2016年1月6日星期三 UTC+8下午12:01:23，agentzh写道：

Hello!

2016-01-05 18:44 GMT-08:00 hao dong:
> 谢春哥提醒。本来想做的就是将 upstream 的 response 以及一些时间戳写到 rabbitmq 中，目前
> body_filter_by_lua + ngx.timer.at + cosocket 这样的方案选择是不是绕远路了呢？
>

如果你使用流式处理的话，是最高性能的选择。

但我不得不提醒你的是，记录上游的全量响应体的开销很可能会大于你的 nginx 服务上游响应本身，特别是当响应体很大的时候，这无论你使用何种技术方案。

Regards,
-agentzh

agentzh

Hello!

2016-01-05 22:59 GMT-08:00 hao dong:
> 刚跟同事讨论了下，他认为可以在 nginx 开始阶段声明一个全局的 rabbitmq 的句柄，然后一直使用这个句柄。有这样做的方式？？
>

你可以每个 nginx worker 维护一个 rabbitmq 连接，然后每个 worker 内部的所有连接都共享一个 rabbitmq
连接。这种玩法可以使用 init_worker_by_lua + ngx.timer.at + cosocket.

但值得提醒的是，rabbitmq 并不是性能过人的，所以使用过少的连接数很可能无法充分发挥 rabbitmq 的最大吞吐能力，同时
rabbitmq 很可能成为你整个系统的瓶颈（因为它并不是性能过人的）。正如我先前所说的，你记录全量响应体的开销很可能会超过 nginx
服务本身，*无论你使用何种技术方案*。

Regards,
-agentzh

hao.a.dong

hi,

弄了两天了，也没搞定怎么用 body_filter_by_lua + ngx.timer.at + cosocket 来完成这个。关键是我们的 rabbitmq 上没有安装目前也不允许安装 stomp ，请问春哥有比较好的模板可供参考吗？

在 2016年1月7日星期四 UTC+8上午7:00:38，agentzh写道：

Hello!

2016-01-05 22:59 GMT-08:00 hao dong:
> 刚跟同事讨论了下，他认为可以在 nginx 开始阶段声明一个全局的 rabbitmq 的句柄，然后一直使用这个句柄。有这样做的方式？？
>

你可以每个 nginx worker 维护一个 rabbitmq 连接，然后每个 worker 内部的所有连接都共享一个 rabbitmq
连接。这种玩法可以使用 init_worker_by_lua + ngx.timer.at + cosocket.

但值得提醒的是，rabbitmq 并不是性能过人的，所以使用过少的连接数很可能无法充分发挥 rabbitmq 的最大吞吐能力，同时
rabbitmq 很可能成为你整个系统的瓶颈（因为它并不是性能过人的）。正如我先前所说的，你记录全量响应体的开销很可能会超过 nginx
服务本身，*无论你使用何种技术方案*。

Regards,
-agentzh

smallfish.xy

可以 enable rabbitmq_management 插件么？这个也有部分 api 的暴露

smallfish http://chenxiaoyu.org

2016-01-07 15:16 GMT+08:00 hao dong <hao....@gmail.com>:

hi,

弄了两天了，也没搞定怎么用 body_filter_by_lua + ngx.timer.at + cosocket 来完成这个。关键是我们的 rabbitmq 上没有安装目前也不允许安装 stomp ，请问春哥有比较好的模板可供参考吗？

在 2016年1月7日星期四 UTC+8上午7:00:38，agentzh写道：
Hello!

2016-01-05 22:59 GMT-08:00 hao dong:
> 刚跟同事讨论了下，他认为可以在 nginx 开始阶段声明一个全局的 rabbitmq 的句柄，然后一直使用这个句柄。有这样做的方式？？
>

你可以每个 nginx worker 维护一个 rabbitmq 连接，然后每个 worker 内部的所有连接都共享一个 rabbitmq
连接。这种玩法可以使用 init_worker_by_lua + ngx.timer.at + cosocket.

但值得提醒的是，rabbitmq 并不是性能过人的，所以使用过少的连接数很可能无法充分发挥 rabbitmq 的最大吞吐能力，同时
rabbitmq 很可能成为你整个系统的瓶颈（因为它并不是性能过人的）。正如我先前所说的，你记录全量响应体的开销很可能会超过 nginx
服务本身，*无论你使用何种技术方案*。

Regards,
-agentzh

--

hao.a.dong

Hi,

看了下，是 Enable 了。请问有什么模板可以参考一下吗？

谢谢！！

在 2016年1月7日星期四 UTC+8下午3:21:06，smallfish写道：

可以 enable rabbitmq_management 插件么？这个也有部分 api 的暴露

--
smallfish http://chenxiaoyu.org

2016-01-07 15:16 GMT+08:00 hao dong <hao.a...@gmail.com>:
hi,

弄了两天了，也没搞定怎么用 body_filter_by_lua + ngx.timer.at + cosocket 来完成这个。关键是我们的 rabbitmq 上没有安装目前也不允许安装 stomp ，请问春哥有比较好的模板可供参考吗？

在 2016年1月7日星期四 UTC+8上午7:00:38，agentzh写道：
Hello!

2016-01-05 22:59 GMT-08:00 hao dong:
> 刚跟同事讨论了下，他认为可以在 nginx 开始阶段声明一个全局的 rabbitmq 的句柄，然后一直使用这个句柄。有这样做的方式？？
>

你可以每个 nginx worker 维护一个 rabbitmq 连接，然后每个 worker 内部的所有连接都共享一个 rabbitmq
连接。这种玩法可以使用 init_worker_by_lua + ngx.timer.at + cosocket.

但值得提醒的是，rabbitmq 并不是性能过人的，所以使用过少的连接数很可能无法充分发挥 rabbitmq 的最大吞吐能力，同时
rabbitmq 很可能成为你整个系统的瓶颈（因为它并不是性能过人的）。正如我先前所说的，你记录全量响应体的开销很可能会超过 nginx
服务本身，*无论你使用何种技术方案*。

Regards,
-agentzh

--