logging all req/resp headers/body in async

pahudnet · 2015-04-01T08:19:58+00:00

Hello! On Sun, Mar 29, 2015 at 7:38 PM, zheng.xiaochuan wrote: > 而且，当我们pkill -9 nginx的时候...

logging all req/resp headers/body in async

pahudnet

請問一下，我想用OpenResty設計一個Frontend，放在php-fpm或其他web服務之前，所有透過OpenResty進出的HTTP req/resp header/body我想異步存到backend的一套系統(初期是mongoDB之後可能會放AWS DynamoDB)，我想問一下是否是這樣的設計思路:

所有請求透過content_by_lua 丟給一個wrapper.lua
wrapper.lua 記錄request headers/body
然後透過ngx.location.capture 丟給另一個接口例如 /proxy-pass-me
/proxy-pass-me 在nginx.conf裡面使用proxy_pass方式丟給真實的後端服務接口(可能是其他遠端主機)
wrapper.lua 獲取ngx.location.capture獲得的 header/body結果
最後在log_by_lua 裡面把req/resp header/body整個aggregate起來進行後續自定義的logging處理。

想請問這樣的設計思路是否合理，或者有無更好的方法？

thanks,

agentzh

Hello!

2015-03-31 17:19 GMT-07:00 Pahud Hsieh:
>
> 請問一下，我想用OpenResty設計一個Frontend，放在php-fpm或其他web服務之前，所有透過OpenResty進出的HTTP
> req/resp header/body我想異步存到backend的一套系統(初期是mongoDB之後可能會放AWS DynamoDB)，

这种需求本身的性能损耗是很大的，特别是对于较大的请求体或响应体。你确定要这么做吗？

感觉通过 tcpcopy 这种级别的工具来实现更经济一些。

Regards,
-agentzh

pahudnet

感謝春哥，

我們這個專案的情況，所有response都是很簡單的JSON， request也只是很簡單的GET POST，不會有很大的http request body，我們想把所有的incoming request都自動生成一個request_id，然後包括request_time, response_time, req/resp header/body全部associate with這個request_id，再透過這樣的機制最終從log_by_lua來flush到例如AWS DynamoDB上去，方便另一套系統可以進行快速的查詢，最終實現request-level的audition/trouble-shooting。

整套系統是運行在AWS，流量不會太大就是。

any comments or suggests?

pahud

2015-04-01 8:24 GMT+08:00 Yichun Zhang (agentzh) <age...@gmail.com>:

Hello!

2015-03-31 17:19 GMT-07:00 Pahud Hsieh:
>
> 請問一下，我想用OpenResty設計一個Frontend，放在php-fpm或其他web服務之前，所有透過OpenResty進出的HTTP
> req/resp header/body我想異步存到backend的一套系統(初期是mongoDB之後可能會放AWS DynamoDB)，

这种需求本身的性能损耗是很大的，特别是对于较大的请求体或响应体。你确定要这么做吗？

感觉通过 tcpcopy 这种级别的工具来实现更经济一些。

Regards,
-agentzh

--

wangxi968

如果直接在你的服务中记录equest_time, response_time, req/resp header/body的日志，然后通过日志收集系统推送到实时流中去处理并存储，这样可行吗？

doujiang24

这个思路不错，具体点的话：

1. 在 body_fitler_by_lua 里，把 response_body 保存到一个 table，挂到 ngx.ctx 下

2. 在 log_by_lua 里，把 request_time, request_body, response_body 通过 ngx.timer.at 发出去

这样做，对原有流程侵入最少了

在 2015年4月1日上午9:54，王曦 <wang...@gmail.com>写道：

如果直接在你的服务中记录equest_time, response_time, req/resp header/body的日志，然后通过日志收集系统推送到实时流中去处理并存储，这样可行吗？

--