Re: 咨询一下关于HttpLuaModule

agentzh · 2014-01-09T11:45:14+00:00

我在一个 c+lua 的项目里面遇到过类似的问题，&#x5c3...

Re: 咨询一下关于HttpLuaModule

agentzh

Hello!

2014/1/8 yhben:
> 事情是这样的, 我在使用 Nginx 的过程中, 想实现通过 proxy_pass 下载页面, 然后使用 lua 的 body_filter 里调用
> capture, 将得到的 html 通过 http post, 传输到我们的工具进行处理, 再输出给客户端.
>
> 但是实际上, 无法在 body_filter 中调用 capture, 所以想咨询一下, 应该如何解决掉这个问题.
>

Nginx 的 body filter 里是不支持非阻塞 IO 的。推荐的做法是在在子请求里做原先主请求的
proxy_pass，主请求中使用 ngx.location.capture，对响应进行全缓冲处理，再在主请求中使用 ngx.print()
一次性输出结果。

同时抄送给 openresty 中文邮件列表：https://groups.google.com/group/openresty
也建议你加入此列表并在那里讨论这样的问题。谢谢合作！

Best regards,
-agentzh

leofml2012

在 2014年1月9日星期四UTC+8上午11时45分13秒，agentzh写道：

Hello!

2014/1/8 yhben:
> 事情是这样的, 我在使用 Nginx 的过程中, 想实现通过 proxy_pass 下载页面, 然后使用 lua 的 body_filter 里调用
> capture, 将得到的 html 通过 http post, 传输到我们的工具进行处理, 再输出给客户端.
>
> 但是实际上, 无法在 body_filter 中调用 capture, 所以想咨询一下, 应该如何解决掉这个问题.
>

Nginx 的 body filter 里是不支持非阻塞 IO 的。推荐的做法是在在子请求里做原先主请求的
proxy_pass，主请求中使用 ngx.location.capture，对响应进行全缓冲处理，再在主请求中使用 ngx.print()
一次性输出结果。

同时抄送给 openresty 中文邮件列表：https://groups.google.com/group/openresty
也建议你加入此列表并在那里讨论这样的问题。谢谢合作！

Best regards,
-agentzh

请问应该如何把主请求中的 request headers 全部传递给子请求?

location /proxy {
    internal;
    proxy_pass       http://www.baidu.com:80;
    proxy_set_header Host      $proxy_host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Accept-Encoding "";
    proxy_set_header X-Forwarded-For  $remote_addr;
    more_clear_headers 'Content-Length';
}
location / {
    content_by_lua '
        res = ngx.location.capture("/proxy");
        ngx.status = res.status;
        for key, value in pairs(res.header) do ngx.header[key] = value end;
        ngx.print(res.body)';
}

agentzh

Hello!

2014/1/9 FML Leo:
>
> 请问应该如何把主请求中的 request headers 全部传递给子请求?
>

父请求的请求头默认就是为子请求所继承的，除了 Content-Length 这样的请求头。对于带请求体的父请求，需要同时指定
always_forward_body = true 选项。

这些细节在 ngx.location.capture() 的官方文档中其实都有交待：

    https://github.com/chaoslawful/lua-nginx-module#ngxlocationcapture

请仔细阅读手册，以节约时间 :)

Regards,
-agentzh

leofml2012

在 2014年1月9日星期四UTC+8上午11时45分13秒，agentzh写道：
>
> 2014/1/8 yhben:
> > 事情是这样的, 我在使用 Nginx 的过程中, 想实现通过 proxy_pass 下载页面, 然后使用 lua 的 body_filter 里调用
> > capture, 将得到的 html 通过 http post, 传输到我们的工具进行处理, 再输出给客户端.
> > 但是实际上, 无法在 body_filter 中调用 capture, 所以想咨询一下, 应该如何解决掉这个问题.
> 

> Nginx 的 body filter 里是不支持非阻塞 IO 的。推荐的做法是在在子请求里做原先主请求的
> 
> proxy_pass，主请求中使用 ngx.location.capture，对响应进行全缓冲处理，再在主请求中使用 ngx.print()
> 
> 一次性输出结果。
> 
> -agentzh

当我使用主请求 capture 到子请求时, 我该如何在子请求里拿到主请求的上下文环境呢?
location /proxy {
    internal;
    proxy_pass       http://www.baidu.com:80;
    proxy_set_header Host      $proxy_host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Accept-Encoding "";
    proxy_set_header X-Forwarded-For  $remote_addr;
    more_clear_headers 'Content-Length';
}
location / {
    content_by_lua '
        res = ngx.location.capture("/proxy");
        ngx.status = res.status;
        for key, value in pairs(res.header) do ngx.header[key] = value end;
        ngx.print(res.body)';
}

leofml2012

在 2014年1月10日星期五UTC+8上午1时42分05秒，agentzh写道：

父请求的请求头默认就是为子请求所继承的，除了 Content-Length 这样的请求头。对于带请求体的父请求，需要同时指定
always_forward_body = true 选项。

实际测试中, 子请求似乎是没有继承父请求的 header. 例如下面的代码:

location /proxy {
    internal;
    proxy_pass       http://www.baidu.com:80;
    proxy_set_header Host      $proxy_host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Accept-Encoding "";
    proxy_set_header X-Forwarded-For  $remote_addr;
    more_clear_headers 'Content-Length';
}
location / {
    content_by_lua '
        res = ngx.location.capture("/proxy", {
            always_forward_body = ture
        });
        ngx.status = res.status;
        for key, value in pairs(res.header) do ngx.header[key] = value end;
        ngx.print(res.body)';
}

$ curl -i http://foo.bar.net/
HTTP/1.1 302 Found
Server: Tengine/1.5.2
Date: Fri, 10 Jan 2014 05:25:08 GMT
Content-Type: text/html; charset=iso-8859-1
Transfer-Encoding: chunked
Connection: keep-alive
Location: http://www.baidu.com/search/error.html
Cache-Control: max-age=86400
Expires: Sat, 11 Jan 2014 05:24:52 GMT

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>302 Found</title>
</head><body>
<h1>Found</h1>
<p>The document has moved <a href="">here</a>.</p>
</body></html>

agentzh

Hello!

2014/1/9 FML Leo:
>
> 实际测试中, 子请求似乎是没有继承父请求的 header. 例如下面的代码:
>
[...]
> $ curl -i http://foo.bar.net/
> HTTP/1.1 302 Found
> Server: Tengine/1.5.2
> Date: Fri, 10 Jan 2014 05:25:08 GMT
> Content-Type: text/html; charset=iso-8859-1

我没看出你这个测试是如何测试请求头是否被正确继承的。你可以使用 tcpdump 或者 nc 这样的工具直接获取 nginx
发出的请求头。启用 nginx 调试日志时，在 nginx 的错误日志文件中也可以看到 ngx_proxy 模块为后端生成的请求头。

Regards,
-agentzh

leofml2012

> $ curl -i http://foo.bar.net/
> HTTP/1.1 302 Found
> Server: Tengine/1.5.2
> Date: Fri, 10 Jan 2014 05:25:08 GMT
> Content-Type: text/html; charset=iso-8859-1

我没看出你这个测试是如何测试请求头是否被正确继承的。你可以使用 tcpdump 或者 nc 这样的工具直接获取 nginx
发出的请求头。启用 nginx 调试日志时，在 nginx 的错误日志文件中也可以看到 ngx_proxy 模块为后端生成的请求头。

我希望得到的结果是当我curl -i http://foo.bar.net/ 时, 得到的结果与 curl -i http://www.baidu.com 相同,

curl -i http://foo.bar.net/proxy 时, 得到的结果与 curl -i http://www.baidu.com/proxy 相同,

而现在的结果是 curl -i http://foo.bar.net/ 时, 得到的结果 curl -i http://www.baidu.com/proxy 相同

即我对 www.baidu.com 作反相代理, 但是是通过主请求转发到子请求做到的.

agentzh

Hello!

2014/1/9 FML Leo:
> 我希望得到的结果是  当我curl -i http://foo.bar.net/ 时, 得到的结果与 curl -i
> http://www.baidu.com 相同,
> curl -i http://foo.bar.net/proxy 时, 得到的结果与 curl -i
> http://www.baidu.com/proxy 相同,

好吧。我先前说的“继承父请求的请求头”只是指继承 Foo: bar 这样的请求头键值对。对于 ngx.location.capture
来说，请求的 URL 和请求方法都没不会自动继承的。

我把你的示例修改了一下，在我本地测试是能实现你想要的效果的：

    location = /proxy {
        internal;
        proxy_pass       http://www.baidu.com$request_uri;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_http_version 1.1;
        proxy_set_header Accept-Encoding "";
        proxy_set_header Connection "";
        proxy_set_header Host $proxy_host;
        proxy_set_header X-Forwarded-For  $remote_addr;
    }

    location / {
        content_by_lua '
            local methods = {
                GET = ngx.HTTP_GET,
                POST = ngx.HTTP_POST,
                HEAD = ngx.HTTP_HEAD,
                PUT = ngx.HTTP_PUT
            }
            res = ngx.location.capture("/proxy", {
                method = methods[ngx.var.method],
                always_forward_body = ture,
            });
            ngx.status = res.status;
            for key, value in pairs(res.header) do
                ngx.header[key] = value
            end;
            ngx.print(res.body)
        ';
    }

当然，出于效率方面的考虑，你可以同时启用到后端服务器（在这里是 www.baidu.com）的 HTTP 连接池。只需在 http {}
配置块里添加下面这一段就可以了：

    upstream www.baidu.com {
        server www.baidu.com:80;
        keepalive 2;
    }

Best regards,
-agentzh