为什么ngx.location.capture_multi的性能比较差

zjqjlu · 2014-04-09T14:07:43+00:00

Hello! 2013-05-20 1:28 GMT-07:00 9565642: > 想请教下该驱动下，如何select不&#x540...

为什么ngx.location.capture_multi的性能比较差

zjqjlu

自己最近在项目中用到openresty改造之前的系统，发现openresty在发送多个子请求时调用ngx.location.capture_multi 性能损失比较大（参考指标RPS），测试方法如下：

在nginx.conf文件中加入下列测试location,single_test 中调用ngx.location.capture_multi产生多个子请求,子请求中只是say('hello')；示例如下：

location = /multi_test {

content_by_lua '

local ret1,ret2,ret3,ret4,ret5,ret6,ret7,ret8,ret9,ret10,ret11= ngx.location.capture_multi{

{"/test"} ,

}

ngx.say(ret1.body,ret2.body,ret3.body,ret4.body,ret5.body,ret6.body,ret7.body,ret8.body,re9t.body,ret10.body,ret11.body)

}

location = /single_test {

content_by_lua '

local res = ngx.location.capture("/test")

if res.status ~= 200 then

ngx.say("Error Got")

return

end

ngx.say(res.body)

}

location = /test {

content_by_lua '

ngx.say('hello world!')

}

用 ab -n 100000 -c 100 "http://127.0.0.1:8080/single_test" 测试RPS能达到1.7W；而用同样命令测试ab -n 100000 -c 100 "http://127.0.0.1:8080/multi_test" RPS只能达到7900,ngx.location.capture_multi性能损失很大可以这样理解吗？

agentzh

Hello!

2014-04-08 23:07 GMT-07:00 John Zhao:
> 在nginx.conf文件中 加入下列测试location,single_test
> 中调用ngx.location.capture_multi产生多个子请求,子请求中只是say('hello')；示例如下：
> location = /multi_test {
[...]
> }
> location = /single_test {
[...]
>   }
> location = /test {
>     content_by_lua '
>         ngx.say('hello world!')
>         ';
> }

你的这个例子里有两处语法错误。我在尝试你例子的时候已经自己修正了。建议下回直接复制粘贴你经过测试的代码片段或配置片段，以节约我的时间，同时也可以让我确认你自己运行过你贴的示例。

> 用 ab -n 100000 -c 100 "http://127.0.0.1:8080/single_test";
> 测试RPS能达到1.7W；而用同样命令测试ab -n 100000 -c 100 "http://127.0.0.1:8080/multi_test";
> RPS只能达到7900,ngx.location.capture_multi性能损失很大可以这样理解吗？
>

你的用例和观察到的现象并不能得出你的结论。

这是因为你的 /multi_test 发起并执行了 11 个子请求，而你的 /single_test
只发起并执行了一个子请求。换句话说，前者相对于后者完成了 11 倍的工作量，你觉得这种比较本身公平吗？

我在用 ab 对 /multi_test 保持压力时针对 nginx worker 进程作了一张 on-CPU 火焰图（见
https://github.com/agentzh/nginx-systemtap-toolkit#sample-bt ）：

    http://agentzh.org/misc/flamegraph/ngx-lua-multi-capture.svg

从图上可以看到，近一半的 CPU 时间用在写 http 输出上面；而对于余下的一半，一部分是 ngx.location.capture*
把父请求的请求体复现给子请求，一部分则是你的 location = /test 本身的开销（主要是 content_by_lua
本身每请求初始化的开销）。

值得一提的是，ngx.location.capture() 的底层实现也是调用的
ngx.location.capture_multi()，所以你只是在比较 11 个子请求和 1 个子请求之间的性能差别。

一般地，使用 ngx_lua 的 ngx.thread API 结合 cosocket API 会获得优于
ngx.location.capture* API 的性能。所以应当尽量使用前者。NGINX 子请求的开销还是相对比较大的。

Regards,
-agentzh

zjqjlu

对自己的示例代码有错误感到抱歉，ngx.location.capture_multi()多个子请求是并行无阻塞的吗？和单个子请求相比为啥会差这么多呢？ “使用 ngx_lua 的 ngx.thread API 结合 cosocket API ”有没有具体的示例？这样说有点不懂，麻烦了

在 2014年4月10日星期四UTC+8上午4时17分01秒，agentzh写道：

Hello!

2014-04-08 23:07 GMT-07:00 John Zhao:
> 在nginx.conf文件中加入下列测试location,single_test
> 中调用ngx.location.capture_multi产生多个子请求,子请求中只是say('hello')；示例如下：
> location = /multi_test {
[...]
> }
> location = /single_test {
[...]
> }
> location = /test {
> content_by_lua '
> ngx.say('hello world!')
> ';
> }

你的这个例子里有两处语法错误。我在尝试你例子的时候已经自己修正了。建议下回直接复制粘贴你经过测试的代码片段或配置片段，以节约我的时间，同时也可以让我确认你自己运行过你贴的示例。

> 用 ab -n 100000 -c 100 "http://127.0.0.1:8080/single_test"
> 测试RPS能达到1.7W；而用同样命令测试ab -n 100000 -c 100 "http://127.0.0.1:8080/multi_test"
> RPS只能达到7900,ngx.location.capture_multi性能损失很大可以这样理解吗？
>

你的用例和观察到的现象并不能得出你的结论。

这是因为你的 /multi_test 发起并执行了 11 个子请求，而你的 /single_test
只发起并执行了一个子请求。换句话说，前者相对于后者完成了 11 倍的工作量，你觉得这种比较本身公平吗？

我在用 ab 对 /multi_test 保持压力时针对 nginx worker 进程作了一张 on-CPU 火焰图（见
https://github.com/agentzh/nginx-systemtap-toolkit#sample-bt ）：

http://agentzh.org/misc/flamegraph/ngx-lua-multi-capture.svg

从图上可以看到，近一半的 CPU 时间用在写 http 输出上面；而对于余下的一半，一部分是 ngx.location.capture*
把父请求的请求体复现给子请求，一部分则是你的 location = /test 本身的开销（主要是 content_by_lua
本身每请求初始化的开销）。

值得一提的是，ngx.location.capture() 的底层实现也是调用的
ngx.location.capture_multi()，所以你只是在比较 11 个子请求和 1 个子请求之间的性能差别。

一般地，使用 ngx_lua 的 ngx.thread API 结合 cosocket API 会获得优于
ngx.location.capture* API 的性能。所以应当尽量使用前者。NGINX 子请求的开销还是相对比较大的。

Regards,
-agentzh

smallfish.xy

参考：https://github.com/chaoslawful/lua-nginx-module#ngxthreadspawn

片段最后有读取mysql/memcache/http的3个thread梨子

smallfish http://chenxiaoyu.org

2014-04-10 10:13 GMT+08:00 John Zhao <zj...@gmail.com>:

对自己的示例代码有错误感到抱歉，ngx.location.capture_multi()多个子请求是并行无阻塞的吗？和单个子请求相比为啥会差这么多呢？ “使用 ngx_lua 的 ngx.thread API 结合 cosocket API ”有没有具体的示例？这样说有点不懂，麻烦了

在 2014年4月10日星期四UTC+8上午4时17分01秒，agentzh写道：
Hello!

2014-04-08 23:07 GMT-07:00 John Zhao:
> 在nginx.conf文件中加入下列测试location,single_test
> 中调用ngx.location.capture_multi产生多个子请求,子请求中只是say('hello')；示例如下：
> location = /multi_test {
[...]
> }
> location = /single_test {
[...]
> }
> location = /test {
> content_by_lua '
> ngx.say('hello world!')
> ';
> }

你的这个例子里有两处语法错误。我在尝试你例子的时候已经自己修正了。建议下回直接复制粘贴你经过测试的代码片段或配置片段，以节约我的时间，同时也可以让我确认你自己运行过你贴的示例。

> 用 ab -n 100000 -c 100 "http://127.0.0.1:8080/single_test"
> 测试RPS能达到1.7W；而用同样命令测试ab -n 100000 -c 100 "http://127.0.0.1:8080/multi_test"
> RPS只能达到7900,ngx.location.capture_multi性能损失很大可以这样理解吗？
>

你的用例和观察到的现象并不能得出你的结论。

这是因为你的 /multi_test 发起并执行了 11 个子请求，而你的 /single_test
只发起并执行了一个子请求。换句话说，前者相对于后者完成了 11 倍的工作量，你觉得这种比较本身公平吗？

我在用 ab 对 /multi_test 保持压力时针对 nginx worker 进程作了一张 on-CPU 火焰图（见
https://github.com/agentzh/nginx-systemtap-toolkit#sample-bt ）：

http://agentzh.org/misc/flamegraph/ngx-lua-multi-capture.svg

从图上可以看到，近一半的 CPU 时间用在写 http 输出上面；而对于余下的一半，一部分是 ngx.location.capture*
把父请求的请求体复现给子请求，一部分则是你的 location = /test 本身的开销（主要是 content_by_lua
本身每请求初始化的开销）。

值得一提的是，ngx.location.capture() 的底层实现也是调用的
ngx.location.capture_multi()，所以你只是在比较 11 个子请求和 1 个子请求之间的性能差别。

一般地，使用 ngx_lua 的 ngx.thread API 结合 cosocket API 会获得优于
ngx.location.capture* API 的性能。所以应当尽量使用前者。NGINX 子请求的开销还是相对比较大的。

Regards,
-agentzh

--