无法获取Proxy之后的Request Body数据

ristona.hua

location = /persistent {
       proxy_pass  http://redis_persistent_Director/;
        }
  upstream redis_persistent_Director {
server 127.0.0.1:10000;
#server 127.0.0.1:10001;
        keepalive 1024;
    }

    server {
        listen       10000;
        server_name  localhost;
        location / {
echo $echo_request_body; #通过POST方式数据为空！
        }
    }
我向/persistent POST一些数据，之后会Proxy到10000的服务中。现在我在10000那台服务的根目录无法获取客户端发出的request_body，求解？

fengmo.q

hi,

建议你看一下echo模块的文档，https://github.com/agentzh/echo-nginx-module

$echo_request_body变量只在之前已经读了请求体（且未保存在临时文件）时有效，所以需要先读请求头：

location / {

echo_read_request_body;

echo_request_body;

}

在 2013年3月18日下午4:49， <risto...@gmail.com>写道：

location = /persistent {
       proxy_pass  http://redis_persistent_Director/;
        }
  upstream redis_persistent_Director {
server 127.0.0.1:10000;
#server 127.0.0.1:10001;
        keepalive 1024;
    }

    server {
        listen       10000;
        server_name  localhost;
        location / {
echo $echo_request_body; #通过POST方式数据为空！
        }
    }
我向/persistent POST一些数据，之后会Proxy到10000的服务中。现在我在10000那台服务的根目录无法获取客户端发出的request_body，求解？

--
#xA0要查看更多选项，请访问 https://groups.google.com/groups/opt_out。

Jinglong
Software Engineer
Server Platforms Team at Taobao

ristona.hua

在 2013年3月18日星期一UTC+8下午4时49分47秒，risto...@gmail.com写道：

location = /persistent {
       proxy_pass  http://redis_persistent_Director/;
        }
  upstream redis_persistent_Director {
server 127.0.0.1:10000;
#server 127.0.0.1:10001;
        keepalive 1024;
    }

    server {
        listen       10000;
        server_name  localhost;
        location / {
echo $echo_request_body; #通过POST方式数据为空！
        }
    }
我向/persistent POST一些数据，之后会Proxy到10000的服务中。现在我在10000那台服务的根目录无法获取客户端发出的request_body，求解？

谢谢！问题已解决！真正的原因是在Redis那块。
redis2_query lpush q1 $echo_request_body;
值一真为空，使用ECHO可以输出请求体的内容，文字没有任何特殊字符，就是正常的ABC之类的字符。
现在我使用URL传值，暂时解决，不知这是不是一个BUG,我使用的是最新的OPENRESTY版本。

agentzh

Hello!

2013/3/18  ristona.hua:
>
> 谢谢！问题已解决！真正的原因是在Redis那块。
>       redis2_query lpush q1 $echo_request_body;
> 值一真为空，使用ECHO可以输出请求体的内容，文字没有任何特殊字符，就是正常的ABC之类的字符。
> 现在我使用URL传值，暂时解决，不知这是不是一个BUG,我使用的是最新的OPENRESTY版本。
>

建议仔细阅读 pengqi 同学先前的回复，应当总是使用 echo_read_request_body 指令先行阅读请求体：

  http://wiki.nginx.org/HttpEchoModule#echo_read_request_body

同时你应确保 client_body_buffer_size 的设置与 client_max_body_size
的设置相同，否则较大的请求可能会被自动缓冲到临时文件，此时 $echo_request_body 变量的值也会为空。

Best regards,
-agentzh

yankai0219

我在使用Nginx做代理使用金山快盘时，代理服务器发送给金山快盘服务器时Connection头部为Connection：Close。

我在不使用Nginx做代理时，发送给金山快盘服务器时Connection头部为Connection：keep-alive。

问题是：使用Nginx做代理时，金山快盘服务器返回502 Bad Gateway的错误，同时有一段

附件为我对于使用Nginx和不使用Nginx时的抓包图。

Attachment: QQ截图20130319132251.png
Description: PNG image

agentzh

Hello!

2013/3/18  ristona.hua:
>
> 真正的原因是在Redis那块。
>       redis2_query lpush q1 $echo_request_body;
> 值一真为空

不好意思，刚才我看得太快了，请忽略我的上一封邮件。

原来你是在 ngx_redis2 模块中使用 $echo_request_body 变量引用请求体数据。此时 content handler
是 ngx_redis2 模块的，所以便不能同时使用 ngx_echo 模块的配置指令 echo_read_request_body 了。

事实上，目前 ngx_redis2 模块的 content handler 总是会自动忽略请求体数据，就像标准的 ngx_memcached
模块那样。下面这个最小化的测试用例可以证实目前的这个行为：

    location /t {
        # these two settings must be the same to prevent
        # automatic buffering large request bodies
        # to temp files:
        client_body_buffer_size 8k;
        client_max_body_size 8k;

        redis2_query flushall;
        redis2_query lpush q1 $echo_request_body;
        redis2_query lpop q1;
        redis2_pass 127.0.0.1:6379;
    }

使用 POST 请求访问这个接口得到：

    $ curl -d 'hello world' localhost:8080/t
    +OK
    :1
    $0

我们看到最后一行 lpop 的结果确实是空，即 $echo_request_body 变量的值为空（因为 ngx_redis2 总是自动忽略请求体数据）。

刚刚我提交了一个补丁，让 ngx_redis2 模块总是自动读取请求体，就像 ngx_proxy/ngx_fastcgi 这些模块那样，以支持你的这种用法：

    https://github.com/agentzh/redis2-nginx-module/commit/9974975

使用新版本的 ngx_redis2 模块运行上面那个例子，便可以如期望那般工作了：

    $ curl -d 'hello world' localhost:8080/t
    +OK
    :1
    $11
    hello world

请尝试使用 git 仓库里 master 分支上的最新版本：

    https://github.com/agentzh/redis2-nginx-module

Best regards,
-agentzh

fengmo.q

Hi,

请说明一下你用的Nginx版本，并给出一下最小化的Nginx配置。

1.代理服务器发送给金山快盘服务器时Connection头部为Connection：Close。

这个问题如果你用的Nginx 1.1.0以下的版本，默认就是Close，1.1版本以前Nginx并不支持后端长连接。

2.使用Nginx做代理时，金山快盘服务器返回502 Bad Gateway的错误，同时有一段

这个问题需要看你的配置文件，返回502可能是你的upstream没有配置正确

在 2013年3月19日下午1:28，yankai0219 <yank...@126.com>写道：

我在使用Nginx做代理使用金山快盘时，代理服务器发送给金山快盘服务器时Connection头部为Connection：Close。
我在不使用Nginx做代理时，发送给金山快盘服务器时Connection头部为Connection：keep-alive。

问题是：使用Nginx做代理时，金山快盘服务器返回502 Bad Gateway的错误，同时有一段

附件为我对于使用Nginx和不使用Nginx时的抓包图。

--
#xA0;

Jinglong
Software Engineer
Server Platforms Team at Taobao

yankai0219

我所使用的Nginx版本号为1.2.3

yankai0219

1.我使用的Nginx版本为1.2.3

2.配置文件如下：主要思想是通过Nginx将post multipart/form-data的数据分流到我们自己的服务器127.0.0.1:9900上，故采用了$request_method + uri匹配的方式来进行分流。

在对金山的数据进行分流的过程中，发现对于OPTIONS的请求方法，金山的服务器返回的是502的错误。

server {

resolver 159.226.59.158;

listen 0.0.0.0:808;

set $jinshan 'jinshan';

location / {

if ($request_method = POST){

set $post_data 'post_';

}

#the following request_uri is for kuaipan.cn

if ( $request_uri ~ parentId=0&name=* ){

set $post_data_jinshan $post_data$jinshan;

}

if ( $post_data_xunzai = 'post_jinshan' ){

proxy_pass http://127.0.0.1:9900;

proxy_set_header Host $http_host;

}

#non-post request is proxied.

proxy_pass $scheme://$host$request_uri;

proxy_set_header Host $http_host;

}

yankai0219

这儿的问题是在于配置文件中的proxy有问题，应该是proxy_pass $scheme://$http_host$request_uri;

ristona.hua

不好意思，前段时间有事，今天刚刚改完，调试OK，使用resty真是一个件非常的愉快的事，特别感谢！

我分享一下我的应用场景，利用upstream做一个队列负载均衡。即客户端会每秒发送10W+的请求（并发量比较稳定），我需要将这些请求数据平均分配到不同以Redis构建的队列服务器（每台Redis也会对象N个List类型的key），最后再由后端相关应用去处理这些数据。这样便大大提高并发性。当然在NGX前端，我还会用LVS进行分流。

再一次感谢！

在 2013年3月19日星期二UTC+8下午1时54分15秒，agentzh写道：

Hello!

2013/3/18 ristona.hua:
>
> 真正的原因是在Redis那块。
> redis2_query lpush q1 $echo_request_body;
> 值一真为空

不好意思，刚才我看得太快了，请忽略我的上一封邮件。

原来你是在 ngx_redis2 模块中使用 $echo_request_body 变量引用请求体数据。此时 content handler
是 ngx_redis2 模块的，所以便不能同时使用 ngx_echo 模块的配置指令 echo_read_request_body 了。

事实上，目前 ngx_redis2 模块的 content handler 总是会自动忽略请求体数据，就像标准的 ngx_memcached
模块那样。下面这个最小化的测试用例可以证实目前的这个行为：

location /t {
# these two settings must be the same to prevent
# automatic buffering large request bodies
# to temp files:
client_body_buffer_size 8k;
client_max_body_size 8k;

redis2_query flushall;
redis2_query lpush q1 $echo_request_body;
redis2_query lpop q1;
redis2_pass 127.0.0.1:6379;
}

使用 POST 请求访问这个接口得到：

$ curl -d 'hello world' localhost:8080/t
+OK
:1
$0

我们看到最后一行 lpop 的结果确实是空，即 $echo_request_body 变量的值为空（因为 ngx_redis2 总是自动忽略请求体数据）。

刚刚我提交了一个补丁，让 ngx_redis2 模块总是自动读取请求体，就像 ngx_proxy/ngx_fastcgi 这些模块那样，以支持你的这种用法：

https://github.com/agentzh/redis2-nginx-module/commit/9974975

使用新版本的 ngx_redis2 模块运行上面那个例子，便可以如期望那般工作了：

$ curl -d 'hello world' localhost:8080/t
+OK
:1
$11
hello world

请尝试使用 git 仓库里 master 分支上的最新版本：

https://github.com/agentzh/redis2-nginx-module

Best regards,
-agentzh