关于body_filter_by_lua一次请求中多次调用的问题

whz199696 · 2020-01-10T10:22:21+00:00

我host有3个后台运行的container 是监听文件 unix sock这种不&#x...

关于body_filter_by_lua一次请求中多次调用的问题

whz199696

小弟刚入门openresty，目前在做一个项目，涉及到openresty作反向代理的场景。具体为，用户无法向服务器直接请求图片文件，只能先向openresty代理服务器进行请求，代理服务器收到用户请求后，向远端服务器建立连接，代理服务器拿到上游传来的图像文件后，调用位于代理服务器的python脚本对图片进行处理，最后将处理完的图片再转发给用户。目前遇到以下问题：

1.代理服务器要处理图片文件，就要对上游服务器传来的数据包进行处理，目前想采用body_filter_by_lua方法，但是再一次请求中会调用多次，在每次调用中，ngx.arg[1]中的数据仅为图片文件的一部分，但是我需要拿到整个图片的数据之后才能进行处理，然后再发给用户，这种需求可以用openresty做吗？

2.我处理图片文件需要用到现成的python脚本，lua语言可以调用python吗？我在网上查了python调用lua的资料比较多，但是反过来比较少。

希望得到大佬的解答，万分感激。

cuiweixie

可以在content_by_lua阶段用lua-resty-requests(http client)获得上游服务器的图片内容，然后用lua 调用c, c调用python处理图片，处理完了再返回处理后的图片

hz w <whz1...@gmail.com> 于2020年1月10日周五上午10:22写道：

小弟刚入门openresty，目前在做一个项目，涉及到openresty作反向代理的场景。具体为，用户无法向服务器直接请求图片文件，只能先向openresty代理服务器进行请求，代理服务器收到用户请求后，向远端服务器建立连接，代理服务器拿到上游传来的图像文件后，调用位于代理服务器的python脚本对图片进行处理，最后将处理完的图片再转发给用户。目前遇到以下问题：
1.代理服务器要处理图片文件，就要对上游服务器传来的数据包进行处理，目前想采用body_filter_by_lua方法，但是再一次请求中会调用多次，在每次调用中，ngx.arg[1]中的数据仅为图片文件的一部分，但是我需要拿到整个图片的数据之后才能进行处理，然后再发给用户，这种需求可以用openresty做吗？
2.我处理图片文件需要用到现成的python脚本，lua语言可以调用python吗？我在网上查了python调用lua的资料比较多，但是反过来比较少。
希望得到大佬的解答，万分感激。

whz199696

非常感谢您的回答！请问是在openresty发起子请求的思路吗？

在 2020年1月10日星期五 UTC+8上午10:56:50，崔伟协写道：

可以在content_by_lua阶段用lua-resty-requests(http client)获得上游服务器的图片内容，然后用lua 调用c, c调用python处理图片，处理完了再返回处理后的图片

hz w <whz1...@gmail.com> 于2020年1月10日周五上午10:22写道：
小弟刚入门openresty，目前在做一个项目，涉及到openresty作反向代理的场景。具体为，用户无法向服务器直接请求图片文件，只能先向openresty代理服务器进行请求，代理服务器收到用户请求后，向远端服务器建立连接，代理服务器拿到上游传来的图像文件后，调用位于代理服务器的python脚本对图片进行处理，最后将处理完的图片再转发给用户。目前遇到以下问题：
1.代理服务器要处理图片文件，就要对上游服务器传来的数据包进行处理，目前想采用body_filter_by_lua方法，但是再一次请求中会调用多次，在每次调用中，ngx.arg[1]中的数据仅为图片文件的一部分，但是我需要拿到整个图片的数据之后才能进行处理，然后再发给用户，这种需求可以用openresty做吗？
2.我处理图片文件需要用到现成的python脚本，lua语言可以调用python吗？我在网上查了python调用lua的资料比较多，但是反过来比较少。
希望得到大佬的解答，万分感激。

zhaoxiaobiaogm

hi，

问题1

参考如下代码

-- 收集所有输出，将输出合并后调用cb函数，并阻断向下游filter继续输出，cb接收一个参数
local collect_all_body = function(cb)
local chunk, eof = ngx.arg[1], ngx.arg[2]
if eof then
if ngx.ctx.resp_body then
return cb(table.concat(ngx.ctx.resp_body))
else
return cb(nil)
end
else
ngx.ctx.resp_body[#ngx.ctx.resp_body + 1] = chunk
ngx.arg[1] = nil
end
end

https://github.com/iresty/nginx-lua-module-zh-wiki#body_filter_by_lua 这里文档写的很清楚。

问题2

建议将 py 打包成动态库使用FFI调用动态库来实现。

hz w <whz1...@gmail.com> 于2020年1月10日周五下午9:15写道：

非常感谢您的回答！请问是在openresty发起子请求的思路吗？

在 2020年1月10日星期五 UTC+8上午10:56:50，崔伟协写道：
可以在content_by_lua阶段用lua-resty-requests(http client)获得上游服务器的图片内容，然后用lua 调用c, c调用python处理图片，处理完了再返回处理后的图片

hz w <whz1...@gmail.com> 于2020年1月10日周五上午10:22写道：
小弟刚入门openresty，目前在做一个项目，涉及到openresty作反向代理的场景。具体为，用户无法向服务器直接请求图片文件，只能先向openresty代理服务器进行请求，代理服务器收到用户请求后，向远端服务器建立连接，代理服务器拿到上游传来的图像文件后，调用位于代理服务器的python脚本对图片进行处理，最后将处理完的图片再转发给用户。目前遇到以下问题：
1.代理服务器要处理图片文件，就要对上游服务器传来的数据包进行处理，目前想采用body_filter_by_lua方法，但是再一次请求中会调用多次，在每次调用中，ngx.arg[1]中的数据仅为图片文件的一部分，但是我需要拿到整个图片的数据之后才能进行处理，然后再发给用户，这种需求可以用openresty做吗？
2.我处理图片文件需要用到现成的python脚本，lua语言可以调用python吗？我在网上查了python调用lua的资料比较多，但是反过来比较少。
希望得到大佬的解答，万分感激。

doujiang24

hz w <whz1...@gmail.com> 于2020年1月10日周五上午10:22写道：

2.我处理图片文件需要用到现成的python脚本，lua语言可以调用python吗？我在网上查了python调用lua的资料比较多，但是反过来比较少。

可以用 resty.shell 来调用 python，还挺方便的，or 这一侧也是非阻塞的，可以放心使用

希望得到大佬的解答，万分感激。