lua报:requesty body in temp file not supported 问题请教

xinqiyang

hi all:

最近在开发的一个后端服务, 在400请求每秒的压力下. 会报50个左右的 500错误

问题是这样的:

请求 --> soundmake 接口 --> 请求后端server( apache + php) 输出 200-300k的文件流 --> soundmake接口输出流给客户端 --> soundmake接口将流写入 redis --> 写入请求统计 --> 请求结束.

客户端压 200 请求,不一样的内容, 后端 php 那块生成文件流的时间基本 800 - 25000 ms 之间.

redis和openresty在同一台机器. 往后端请求使用了 lua-resty-http 的Post

现在基本上,压过来就会提示:

local ngx_req = ngx.req

ngx_req.read_body()

self.post_args = ngx_req.get_post_args() 这一行报: requesty body in temp file not supported

openresty 版本:

nginx version: ngx_openresty/1.2.7.6

built by gcc 4.4.7 20120313 (Red Hat 4.4.7-3) (GCC)

TLS SNI support enabled

configure arguments: --prefix=/usr/local/nginx --add-module=../ngx_devel_kit-0.2.18 --add-module=../echo-nginx-module-0.45 --add-module=../xss-nginx-module-0.03rc9 --add-module=../ngx_coolkit-0.2rc1 --add-module=../set-misc-nginx-module-0.22rc8 --add-module=../form-input-nginx-module-0.07 --add-module=../encrypted-session-nginx-module-0.03 --add-module=../srcache-nginx-module-0.19 --add-module=../ngx_lua-0.7.21 --add-module=../headers-more-nginx-module-0.19 --add-module=../array-var-nginx-module-0.03rc1 --add-module=../memc-nginx-module-0.13rc3 --add-module=../redis2-nginx-module-0.10 --add-module=../redis-nginx-module-0.3.6 --add-module=../auth-request-nginx-module-0.2 --add-module=../rds-json-nginx-module-0.12rc10 --add-module=../rds-csv-nginx-module-0.05rc2 --with-ld-opt=-Wl,-rpath,/usr/local/luajit/lib --with-http_ssl_module

系统版本:

centos 6.3 64bit. x86_64

conf的配置文件

worker_processes 2;

error_log logs/error.log;

events {

worker_connections 10240;

}

http {

include mime.types;

default_type application/octet-stream;

resolver 8.8.8.8;

server_tokens off;

server_names_hash_bucket_size 128;

client_body_buffer_size 8K;

client_header_buffer_size 1k;

client_max_body_size 2m;

large_client_header_buffers 2 1k;

client_body_timeout 10;

client_header_timeout 10;

keepalive_timeout 15;

send_timeout 10;

sendfile on;

tcp_nopush on;

tcp_nodelay on;

fastcgi_connect_timeout 300;

fastcgi_send_timeout 300;

fastcgi_read_timeout 300;

fastcgi_buffer_size 64k;

fastcgi_buffers 4 64k;

fastcgi_busy_buffers_size 128k;

fastcgi_temp_file_write_size 256k;

gzip on;

gzip_min_length 1k;

gzip_buffers 4 16k;

gzip_http_version 1.0;

gzip_comp_level 2;

gzip_vary on;

gzip_types text/plain text/css application/json application/x-_javascript_ text/xml application/xml application/xml+rss text/_javascript_;

lua_shared_dict haddit_shared_dict 300m;

include vhosts/*.conf;

}

大家帮忙看看....谢谢...........

xinqiyang

agentzh

Hello!

2013/5/9 XinQi Yang:
> 现在基本上,压过来就会提示:
> local ngx_req = ngx.req
> ngx_req.read_body()
> self.post_args = ngx_req.get_post_args()  这一行报: requesty body in temp file
> not supported
>

这个错误消息明确地指出了你的请求体因为过大（即超过你的 client_body_buffer_size 配置）而被 nginx
自动缓冲到了临时文件中，而 ngx.req.get_post_args() 并不支持从文件加载所有的参数（因为可能占用过多的内存）。

你可以考虑适大加大你的 nginx 的 client_body_buffer_size 配置：

    http://wiki.nginx.org/HttpCoreModule#client_body_buffer_size

当 client_body_buffer_size 配置为和 client_max_body_size 一样大时，nginx
就永远不会把请求体缓冲到文件系统了（但也要仔细内存占用）。

Best regards,
-agentzh

xinqiyang

感谢agentzh,问题解决的了...........

在 2013年5月11日上午3:46，agentzh <age...@gmail.com>写道：

Hello!

2013/5/9 XinQi Yang:

> 现在基本上,压过来就会提示:
> local ngx_req = ngx.req
> ngx_req.read_body()
> self.post_args = ngx_req.get_post_args() 这一行报: requesty body in temp file
> not supported
>

这个错误消息明确地指出了你的请求体因为过大（即超过你的 client_body_buffer_size 配置）而被 nginx
自动缓冲到了临时文件中，而 ngx.req.get_post_args() 并不支持从文件加载所有的参数（因为可能占用过多的内存）。

你可以考虑适大加大你的 nginx 的 client_body_buffer_size 配置：

http://wiki.nginx.org/HttpCoreModule#client_body_buffer_size

当 client_body_buffer_size 配置为和 client_max_body_size 一样大时，nginx
就永远不会把请求体缓冲到文件系统了（但也要仔细内存占用）。

Best regards,
-agentzh

--

xinqiyang

mysqliq

您好，如果请求体超过client_body_buffer_size大小，只能写入到临时文件中，可以通过get_body_file()获取文件内容，那么请问对通过上述函数获取的文件内容可以进行哪些操作？进行文件复制的话会丢失正在写入的数据么？

在 2013年5月11日星期六 UTC+8上午2:46:25，agentzh写道：

Hello!

2013/5/9 XinQi Yang:
> 现在基本上,压过来就会提示:
> local ngx_req = ngx.req
> ngx_req.read_body()
> self.post_args = ngx_req.get_post_args() 这一行报: requesty body in temp file
> not supported
>

这个错误消息明确地指出了你的请求体因为过大（即超过你的 client_body_buffer_size 配置）而被 nginx
自动缓冲到了临时文件中，而 ngx.req.get_post_args() 并不支持从文件加载所有的参数（因为可能占用过多的内存）。

你可以考虑适大加大你的 nginx 的 client_body_buffer_size 配置：

http://wiki.nginx.org/HttpCoreModule#client_body_buffer_size

当 client_body_buffer_size 配置为和 client_max_body_size 一样大时，nginx
就永远不会把请求体缓冲到文件系统了（但也要仔细内存占用）。

Best regards,
-agentzh

doujiang24

Hello

在 2016年9月1日下午4:05， <mys...@gmail.com>写道：

您好，如果请求体超过client_body_buffer_size大小，只能写入到临时文件中，可以通过get_body_file()获取文件内容，那么请问对通过上述函数获取的文件内容可以进行哪些操作？进行文件复制的话会丢失正在写入的数据么？

这个文件就是所有内容了，所以可以直接复制

在 2013年5月11日星期六 UTC+8上午2:46:25，agentzh写道：
Hello!

2013/5/9 XinQi Yang:
> 现在基本上,压过来就会提示:
> local ngx_req = ngx.req
> ngx_req.read_body()
> self.post_args = ngx_req.get_post_args() 这一行报: requesty body in temp file
> not supported
>

这个错误消息明确地指出了你的请求体因为过大（即超过你的 client_body_buffer_size 配置）而被 nginx
自动缓冲到了临时文件中，而 ngx.req.get_post_args() 并不支持从文件加载所有的参数（因为可能占用过多的内存）。

你可以考虑适大加大你的 nginx 的 client_body_buffer_size 配置：

http://wiki.nginx.org/HttpCoreModule#client_body_buffer_size

当 client_body_buffer_size 配置为和 client_max_body_size 一样大时，nginx
就永远不会把请求体缓冲到文件系统了（但也要仔细内存占用）。

Best regards,
-agentzh

--

mysqliq

了解，谢谢，已经通过测试知道了会全部缓冲完才会读取到数据，这样会无法进行断点续传，看来只能尝试使用ngx.req.socket()看能不能实现大文件的断点续传了。。

在 2016年9月1日星期四 UTC+8下午10:15:55，doujiang写道：

Hello

在 2016年9月1日下午4:05， <mys...@gmail.com>写道：
您好，如果请求体超过client_body_buffer_size大小，只能写入到临时文件中，可以通过get_body_file()获取文件内容，那么请问对通过上述函数获取的文件内容可以进行哪些操作？进行文件复制的话会丢失正在写入的数据么？

这个文件就是所有内容了，所以可以直接复制

在 2013年5月11日星期六 UTC+8上午2:46:25，agentzh写道：
Hello!

2013/5/9 XinQi Yang:
> 现在基本上,压过来就会提示:
> local ngx_req = ngx.req
> ngx_req.read_body()
> self.post_args = ngx_req.get_post_args() 这一行报: requesty body in temp file
> not supported
>

这个错误消息明确地指出了你的请求体因为过大（即超过你的 client_body_buffer_size 配置）而被 nginx
自动缓冲到了临时文件中，而 ngx.req.get_post_args() 并不支持从文件加载所有的参数（因为可能占用过多的内存）。

你可以考虑适大加大你的 nginx 的 client_body_buffer_size 配置：

http://wiki.nginx.org/HttpCoreModule#client_body_buffer_size

当 client_body_buffer_size 配置为和 client_max_body_size 一样大时，nginx
就永远不会把请求体缓冲到文件系统了（但也要仔细内存占用）。

Best regards,
-agentzh

--