ngx.eof()之後需要後台處理同時需要保持keep-alive的設計問題

pahudnet

請問

我有一個ngx_lua撰寫的 API 當收到請求之後，主要邏輯main()處理完之後需要立即ngx.eof() 返回結果給clint，但是需要保持keep-alive好讓http client可以重用這個connection，但ngx.eof()之後會有一些繁瑣的工作要處理，定義在 post_processing() 裡面，也就是大約是這樣的

main()
ngx.eof()
post_processing()

我想問的是：

1. 從ngx.eof() 返回給client, 到 post_processing() 結束之前，http client有辦法重用這個keep-alive 連線並且發送新的請求嗎？如果這時候收到新的請求，nginx會調用另一個worker來處理是嗎？

2. 這個post_processing() 如果我需要做一些timeout設計，避免這個function執行太久，例如正常情況允許執行10秒，超過10秒無論如何一定要結束掉釋放資源，並且ngx.log() 記錄，在ngx_lua的設計上我要怎麼來寫 post_processing() ？

謝謝！

agentzh

Hello!

2014-04-09 20:09 GMT-07:00 Pahud Hsieh:
> 我有一個ngx_lua撰寫的 API 當收到請求之後，主要邏輯main()處理完之後需要立即ngx.eof()
> 返回結果給clint，但是需要保持keep-alive好讓http
> client可以重用這個connection，但ngx.eof()之後會有一些繁瑣的工作要處理，定義在 post_processing()
> 裡面，也就是大約是這樣的
>

我觉得你这里应当使用 ngx.timer.at() 而不是 ngx.eof().

见 https://github.com/chaoslawful/lua-nginx-module#ngxtimerat

不过你要小心异步处理模型下，异步任务不断积压的潜在风险（尤其是当你使用 ab 这样贪婪的工具进行测试的时候）。

>
> main()
> ngx.eof()
> post_processing()
>

即应换成

    main()
    ngx.timer.at(0, post_processing)

>
>
> 我想問的是：
>
> 1. 從ngx.eof() 返回給client, 到  post_processing() 結束之前，http
> client有辦法重用這個keep-alive 連線並且發送新的請求嗎？

没有。ngx.eof() 在响应体使用 chunked 编码时只是发送 last chunk
告诉客户端当前请求体已经结束。但这由于当前请求的 Lua 处理程序仍在运行同步的 post_processing() 函数，所以 nginx
并不认为当前请求已经完全结束，于是 nginx 不能立即复用当前请求对应的连接。

我上面建议使 0 延时的定时器就是为了让当前请求的 Lua 处理程序能够立即结束。

> 如果這時候收到新的請求，nginx會調用另一個worker來處理是嗎？
>

下游 keep-alive 的 TCP 连接是不可能跨越当前 worker 进程的边界的。注意在 HTTP keep-alive 模式下，连接是复用的。

> 2. 這個post_processing()
> 如果我需要做一些timeout設計，避免這個function執行太久，例如正常情況允許執行10秒，超過10秒無論如何一定要結束掉釋放資源，並且ngx.log()
> 記錄， 在ngx_lua的設計上我要怎麼來寫 post_processing() ？
>

即使在使用 ngx.timer API 的情况下，你也要小心 post_processing() 任务的积压。如果 10 秒内 nginx
新处理了 N 个请求，则会有 N 个 post_processing() 实例在并发着执行。

推荐的做法是你对每请求的异步任务自己进行缓冲，然后在缓冲到一定程度时进行“批处理”。比如 lua-resty-logger-socket 库就是这么实现的：

    https://github.com/cloudflare/lua-resty-logger-socket#readme

Regards,
-agentzh

pahudnet

Hello !

>
> 1. 從ngx.eof() 返回給client, 到 post_processing() 結束之前，http
> client有辦法重用這個keep-alive 連線並且發送新的請求嗎？

没有。ngx.eof() 在响应体使用 chunked 编码时只是发送 last chunk
告诉客户端当前请求体已经结束。但这由于当前请求的 Lua 处理程序仍在运行同步的 post_processing() 函数，所以 nginx
并不认为当前请求已经完全结束，于是 nginx 不能立即复用当前请求对应的连接。

我上面建议使 0 延时的定时器就是为了让当前请求的 Lua 处理程序能够立即结束。

> 如果這時候收到新的請求，nginx會調用另一個worker來處理是嗎？
>

下游 keep-alive 的 TCP 连接是不可能跨越当前 worker 进程的边界的。注意在 HTTP keep-alive 模式下，连接是复用的。

所以ngx.eof()之後，如果還有一些工作還沒處理完，此時http client會收到last chunk, 再加上nginx set keepalive不為0的話，這樣server/client會保持這個僵持的狀態一段時間，這期間client完全無法re-use這個HTTP conn，最後server會收到client發起的TCP close請求，於是server就會變成CLOSE_WAIT狀態，但server卻不會發起ACK給client，這樣情況連續發生的適合就可能就會有大量的CLOSE_WAIT佔用socket，是否可以這樣理解？

如果是的話，把keepalive設為0，是否表示即便ngx.eof()之後還沒處理完後台工作，也會立即active close主動對client斷開，避免大量TCP的佔用？

> 2. 這個post_processing()
> 如果我需要做一些timeout設計，避免這個function執行太久，例如正常情況允許執行10秒，超過10秒無論如何一定要結束掉釋放資源，並且ngx.log()
> 記錄，在ngx_lua的設計上我要怎麼來寫 post_processing() ？
>

即使在使用 ngx.timer API 的情况下，你也要小心 post_processing() 任务的积压。如果 10 秒内 nginx
新处理了 N 个请求，则会有 N 个 post_processing() 实例在并发着执行。

推荐的做法是你对每请求的异步任务自己进行缓冲，然后在缓冲到一定程度时进行“批处理”。比如 lua-resty-logger-socket 库就是这么实现的：

https://github.com/cloudflare/lua-resty-logger-socket#readme

Regards,
-agentzh

自己異步進行buffering/aggregate的設計很不錯，但我還是好奇想知道，ngx.timer.at() 丟給timer處理的時候，是否有辦法設定timeout? 例如這個func執行超過30s不管有沒有執行完必須立刻被terminate，並且產生error log？否則感覺丟給timer之後這些running timer幾乎無法控制了, 只能等待lua_max_running_timers滿造成後續的error。或者有什麼更好的設計思路可以防範這問題發生？

感謝！

agentzh

Hello!

2014-04-19 1:02 GMT-07:00 Pahud Hsieh:
> 所以ngx.eof()之後，如果還有一些工作還沒處理完，此時http client會收到last chunk, 再加上nginx set
> keepalive不為0的話，這樣server/client會保持這個僵持的狀態一段時間，這期間client完全無法re-use這個HTTP
> conn，最後server會收到client發起的TCP
> close請求，於是server就會變成CLOSE_WAIT狀態，但server卻不會發起ACK給client，這樣情況連續發生的適合就可能就會有大量的CLOSE_WAIT佔用socket，是否可以這樣理解？
>

这取决于你在 ngx.eof() 之后执行的任务的耗时。当此耗时超过客户端的读取超时时，会带来 CLOSE_WAIT
状态的连接，直到你的任务完成，nginx 尝试读取当前连接上的下一个请求时才会注意到客户端已经关闭连接，从而清理这个 CLOSE_WAIT
状态的连接。

> 如果是的話，把keepalive設為0，是否表示即便ngx.eof()之後還沒處理完後台工作，也會立即active
> close主動對client斷開，避免大量TCP的佔用？
>

这依赖于客户端主动关闭连接。如果客户端实现得不好或者是故意不主动关闭连接，这也会造成连接不必要地长时间的保持着，造成服务器端的资源浪费。

> 自己異步進行buffering/aggregate的設計很不錯，但我還是好奇想知道，ngx.timer.at()
> 丟給timer處理的時候，是否有辦法設定timeout? 例如這個func執行超過30s不管有沒有執行完必須立刻被terminate，並且產生error
> log？

你为什么不对你的任务本身的 IO 操作设置合理的超时保护？比如 cosocket API 就提供了 settimeout()
方法设置超时。我先前给你参考的 lua-resty-logger-socket 库也提供了超时选项。

> 否則感覺丟給timer之後這些running timer幾乎無法控制了,
> 只能等待lua_max_running_timers滿造成後續的error。或者有什麼更好的設計思路可以防範這問題發生？
>

我已经给了 lua-resty-logger-socket
库作为参考。你可以查看它是如何作并发控制的。lua-resty-logger-socket 库并不会对每个请求都不加区别地创建新的
timer，只有在它的批处理任务积累到一定阈值时才会创建 timer 尝试进行操作。同时它也会确保一个时间只有一个批处理任务在实际执行。

Regards,
-agentzh