nginx中gzip_min_length指令的疑问

lhmwzy · 2012-06-25T07:49:56+00:00

Hello! On Sat, Jun 23, 2012 at 9:44 AM, Ushnish Basu <ubasu@cal.berkeley.edu> wrote: > As you must already know, the latest version of lua-cjson is...

nginx中gzip_min_length指令的疑问

lhmwzy

发在nginx邮件列表中，无人回答，只好发在这里，大家讨论一下。
在nginx.conf中有如下配置：
http {
...
   default_type  text/html;
   gzip on;
   gzip_min_length 1000;
   gzip_buffers 16 64k;
   gzip_http_version 1.1;
   gzip_comp_level 6;
   gzip_types text/plain application/x-javascript text/css application/xml;
   gzip_vary on;
...

在nginx/conf目录下建立test.lua文件，内容为：
ngx.say("dfsf")

配置nginx/conf/nginx.conf
         location /sum {
                 content_by_lua_file 'conf/test.lua';
       }

访问http://XXX/sum
输出dfsf,页面内容为5bytes,gzip_min_length为1000bytes,按理说不应该被gzip压缩吧？
可是在httpwatch中观察，text/html; charset=UTF-8 : 5 bytes, gzip compressed to
25 bytes ( -400 % saving )，表明此页面依然被压缩了。
是bug吗？

wendal1985

把响应的header贴一下吧

在 2012年6月25日上午7:49，lhmwzy <lh...@gmail.com>写道：

发在nginx邮件列表中，无人回答，只好发在这里，大家讨论一下。
在nginx.conf中有如下配置：
http {
...
default_type text/html;
gzip on;
gzip_min_length 1000;
gzip_buffers 16 64k;
gzip_http_version 1.1;
gzip_comp_level 6;
gzip_types text/plain application/x-_javascript_ text/css application/xml;
gzip_vary on;
...

在nginx/conf目录下建立test.lua文件，内容为：
ngx.say("dfsf")

配置nginx/conf/nginx.conf
location /sum {
content_by_lua_file 'conf/test.lua';
}

访问http://XXX/sum
输出dfsf,页面内容为5bytes,gzip_min_length为1000bytes,按理说不应该被gzip压缩吧？
可是在httpwatch中观察，text/html; charset=UTF-8 : 5 bytes, gzip compressed to
25 bytes ( -400 % saving )，表明此页面依然被压缩了。
是bug吗？

--
Wendal Chen
GuangDong China

lhmwzy

对不起，忘了贴响应头了。
响应头如下：
request header:
(Request-Line)	GET /sum HTTP/1.1
Accept	text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Charset	GB2312,utf-8;q=0.7,*;q=0.7
Accept-Encoding	gzip, deflate
Accept-Language	zh-cn,zh;q=0.5
Connection	keep-alive
Cookie	returnurl=/luapp/tel/search
Host	10.66.23.99
User-Agent	Mozilla/5.0 (Windows NT 6.1; WOW64; rv:5.0) Gecko/20100101
Firefox/5.0

response header:
(Status-Line)	HTTP/1.1 200 OK
Connection	keep-alive
Content-Encoding	gzip
Content-Type	text/html; charset=UTF-8
Date	Mon, 25 Jun 2012 02:31:32 GMT
Server	ngx_openresty/1.2.1.1
Transfer-Encoding	chunked
Vary	Accept-Encoding

yaoweibin

閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷種ginx閿熶茎杈炬嫹閿熻锛岄敓鏂ゆ嫹閿熸枻鎷烽敓鍙増纰夋嫹閿熸枻鎷烽敓鎺?閿熸枻鎷穋ontent-length閿熶茎杈炬嫹灏忛敓鏂ゆ嫹 閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹搴?娌￠敓鍙府鎷穋ontent-length澶撮敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽晛閿熺煫浼欐嫹閿熸枻鎷烽敓鏂ゆ嫹鎭曢敓鏂ゆ嫹淇滈敓鏂ゆ嫹鐗￠敓鎻彍纰夋嫹閿熸枻鎷烽敓鏂ゆ嫹閿?
閿熷锛歨ttp://nginx.org/en/docs/http/ngx_http_gzip_module.html#gzip_min_length

On 2012/6/25 10:43, lhmwzy wrote:
> 閿熺殕璇ф嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷峰簲澶撮敓鍓库槄鎷?> 閿熸枻鎷峰簲澶撮敓鏂ゆ嫹閿熼摪锝忔嫹
> request header:
> (Request-Line)	GET /sum HTTP/1.1
> Accept	text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
> Accept-Charset	GB2312,utf-8;q=0.7,*;q=0.7
> Accept-Encoding	gzip, deflate
> Accept-Language	zh-cn,zh;q=0.5
> Connection	keep-alive
> Cookie	returnurl=/luapp/tel/search
> Host	10.66.23.99
> User-Agent	Mozilla/5.0 (Windows NT 6.1; WOW64; rv:5.0) Gecko/20100101
> Firefox/5.0
>
> response header:
> (Status-Line)	HTTP/1.1 200 OK
> Connection	keep-alive
> Content-Encoding	gzip
> Content-Type	text/html; charset=UTF-8
> Date	Mon, 25 Jun 2012 02:31:32 GMT
> Server	ngx_openresty/1.2.1.1
> Transfer-Encoding	chunked
> Vary	Accept-Encoding
>

agentzh

Hello!

2012/6/25 lhmwzy <lh...@gmail.com>:
> http {
> ...
>   default_type  text/html;
>   gzip on;
>   gzip_min_length 1000;
>   gzip_buffers 16 64k;
>   gzip_http_version 1.1;
>   gzip_comp_level 6;
>   gzip_types text/plain application/x-javascript text/css application/xml;
>   gzip_vary on;
> ...
>
> 在nginx/conf目录下建立test.lua文件，内容为：

如果需要 gzip_min_length 起作用，则需要在 ngx.say() 调用之前加一行

    ngx.header.content_length = 5

即自己设置响应头 Content-Length.

> ngx.say("dfsf")
>
[...]
> 访问http://XXX/sum
> 输出dfsf,页面内容为5bytes,gzip_min_length为1000bytes,按理说不应该被gzip压缩吧？

ngx_gzip 模块是按 Content-Length 响应头来判断响应大小与 gzip_min_length 设置的关系的，而对于没有
Content-Length 响应头的响应，ngx_gzip 无法事先得知响应体的大小，而如果它先缓存整个响应开销又太大，所以此时
ngx_gzip 会忽略 gzip_min_length 的配置。

Best regards,
-agentzh

wendal1985

这样说的话, gzip模块肯定会压缩chuned的数据?

在 2012年6月25日上午11:35，agentzh <age...@gmail.com>写道：

Hello!

2012/6/25 lhmwzy <lh...@gmail.com>:

> http {
> ...
> default_type text/html;
> gzip on;
> gzip_min_length 1000;
> gzip_buffers 16 64k;
> gzip_http_version 1.1;
> gzip_comp_level 6;
> gzip_types text/plain application/x-_javascript_ text/css application/xml;
> gzip_vary on;
> ...
>
> 在nginx/conf目录下建立test.lua文件，内容为：

如果需要 gzip_min_length 起作用，则需要在 ngx.say() 调用之前加一行

ngx.header.content_length = 5

即自己设置响应头 Content-Length.

> ngx.say("dfsf")
>
[...]
> 访问http://XXX/sum
> 输出dfsf,页面内容为5bytes,gzip_min_length为1000bytes,按理说不应该被gzip压缩吧？

ngx_gzip 模块是按 Content-Length 响应头来判断响应大小与 gzip_min_length 设置的关系的，而对于没有
Content-Length 响应头的响应，ngx_gzip 无法事先得知响应体的大小，而如果它先缓存整个响应开销又太大，所以此时
ngx_gzip 会忽略 gzip_min_length 的配置。

Best regards,
-agentzh

--
Wendal Chen
GuangDong China

lhmwzy

问题是好多chuned的数据，并不知道Content-Length 是多少，那咋办？

lhmwzy

应该自动加一个content_length的 http头？

lhmwzy

是的，所有的chunked的数据都会被压缩，不管gzip_min_length设置的是多少。
text/html; charset=UTF-8 : 5 bytes, gzip compressed to 25 bytes ( -400
% saving )
就会出现上面的现象。

在 2012年6月25日 下午12:16，Wendal Chen <wend...@gmail.com> 写道：
> 这样说的话, gzip模块肯定会压缩chuned的数> 在 2012年6月25日 上午11:35，agentzh <age...@gmail.com>写道：
>

wendal1985

无法自动加的, 因为不知道你总共输出多少数据

在 2012年6月25日下午3:09，lhmwzy <lh...@gmail.com>写道：

是的，所有的chunked的数据都会被压缩，不管gzip_min_length设置的是多少。

text/html; charset=UTF-8 : 5 bytes, gzip compressed to 25 bytes ( -400
% saving )

就会出现上面的现象。

在 2012年6月25日下午12:16，Wendal Chen <wend...@gmail.com> 写道：
> 这样说的话, gzip模块肯定会压缩chuned的数> 在 2012年6月25日上午11:35，agentzh <age...@gmail.com>写道：

>

--
Wendal Chen
GuangDong China

lhmwzy

那只能自己手动设置了。
比如用string.len来判定输出的length的大小，然后手动设置content_length头。

defage

据个人所知，chunked 和content_length这2个header是不会同时有的吧.

2012/6/25 lhmwzy <lh...@gmail.com>

那只能自己手动设置了。
比如用string.len来判定输出的length的大小，然后手动设置content_length头。

--
刘太华

wendal1985

正常情况下,是的,呵呵

在 2012年6月25日下午3:49，刘太华 <de...@gmail.com>写道：

据个人所知，chunked 和content_length这2个header是不会同时有的吧.

2012/6/25 lhmwzy <lh...@gmail.com>

那只能自己手动设置了。
比如用string.len来判定输出的length的大小，然后手动设置content_length头。

--
刘太华

--
Wendal Chen
GuangDong China