大请求量且有Proxy Cache的情况下，nginx处理POST的性能剧降

pcman.zhang

目前有两台机器
硬件配置相同使用SSD硬盘，nginx 配置也相同，处理量都差不多

其中A机未开启Cache (API是POST请求, Download是Get请求）
=[API Call]======================================
Request Count: 215715 Avg Request Time: 221.1ms Upstream Time: 216.993ms        Bytes Sent Per Request: 0.340434KB      Bytes Recv Per Request:17.36KB

=[Download Call]=================================
Request Count: 1978507 Avg Request Time: 9.11144ms       Upstream Time: 8.67239ms        Bytes Sent Per Request: 20.1346KB       Bytes Recv Per Request:0.305035KB

而B机开启了Proxy Cache用于处理Download请求
=[API Call]======================================
Request Count: 219314 Avg Request Time: 406.382ms        Upstream Time: 391.516ms        Bytes Sent Per Request: 0.336401KB      Bytes Recv Per Request:17.1546KB

=[Download Call]=================================
Request Count: 1985440 Avg Request Time: 7.86603ms       Upstream Time: 7.05543ms        Bytes Sent Per Request: 20.0493KB       Bytes Recv Per Request:0.304844KB

我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！

A机 IO STAT
Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.25   118.35 2.64 56.60    23.16   699.81    24.41     0.05    0.78   0.43   2.55
dm-0              0.00     0.00 0.00 0.00     0.00     0.00     4.34     0.00   12.55 11.78   0.00
dm-1              0.00     3.55 0.08 0.92     0.83    17.88    37.58     0.10 101.35 36.81   3.66

B机 IO STAT
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.00   423.00    1.60 627.00    12.00 4197.60    13.39     1.38    2.20   0.02   1.40
dm-0              0.00     0.00    1.60 905.60    12.00 3622.40     8.01     2.26    2.49   0.01   1.26
dm-1              0.00     0.00    0.00 143.00     0.00   572.00     8.00     0.36    2.50   0.01   0.14

感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？

azure1st

你现在的具体配置是什么。后端是什么程序啊？

在 2012-10-17 下午5:19，"Freeman Zhang" <pcman...@gmail.com>写道：

目前有两台机器
硬件配置相同使用SSD硬盘，nginx 配置也相同，处理量都差不多

其中A机未开启Cache (API是POST请求, Download是Get请求）
=[API Call]======================================
Request Count: 215715 Avg Request Time: 221.1ms Upstream Time: 216.993ms        Bytes Sent Per Request: 0.340434KB      Bytes Recv Per Request:17.36KB

=[Download Call]=================================
Request Count: 1978507 Avg Request Time: 9.11144ms       Upstream Time: 8.67239ms        Bytes Sent Per Request: 20.1346KB       Bytes Recv Per Request:0.305035KB

而B机开启了Proxy Cache用于处理Download请求
=[API Call]======================================
Request Count: 219314 Avg Request Time: 406.382ms        Upstream Time: 391.516ms        Bytes Sent Per Request: 0.336401KB      Bytes Recv Per Request:17.1546KB

=[Download Call]=================================
Request Count: 1985440 Avg Request Time: 7.86603ms       Upstream Time: 7.05543ms        Bytes Sent Per Request: 20.0493KB       Bytes Recv Per Request:0.304844KB

我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！

A机 IO STAT
Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.25   118.35 2.64 56.60    23.16   699.81    24.41     0.05    0.78   0.43   2.55
dm-0              0.00     0.00 0.00 0.00     0.00     0.00     4.34     0.00   12.55 11.78   0.00
dm-1              0.00     3.55 0.08 0.92     0.83    17.88    37.58     0.10 101.35 36.81   3.66

B机 IO STAT
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.00   423.00    1.60 627.00    12.00 4197.60    13.39     1.38    2.20   0.02   1.40
dm-0              0.00     0.00    1.60 905.60    12.00 3622.40     8.01     2.26    2.49   0.01   1.26
dm-1              0.00     0.00    0.00 143.00     0.00   572.00     8.00     0.36    2.50   0.01   0.14

感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？

smallfish.xy

如果都是API动态请求，是不是每次构造的URL都不一样？这样的话，proxy_cache其实就是多了一步操作了。
--

blog: http://chenxiaoyu.org

2012/10/17 Freeman Zhang <pcman...@gmail.com>

目前有两台机器
硬件配置相同使用SSD硬盘，nginx 配置也相同，处理量都差不多

其中A机未开启Cache (API是POST请求, Download是Get请求）
=[API Call]======================================
Request Count: 215715 Avg Request Time: 221.1ms Upstream Time: 216.993ms        Bytes Sent Per Request: 0.340434KB      Bytes Recv Per Request:17.36KB

=[Download Call]=================================
Request Count: 1978507 Avg Request Time: 9.11144ms       Upstream Time: 8.67239ms        Bytes Sent Per Request: 20.1346KB       Bytes Recv Per Request:0.305035KB

而B机开启了Proxy Cache用于处理Download请求
=[API Call]======================================
Request Count: 219314 Avg Request Time: 406.382ms        Upstream Time: 391.516ms        Bytes Sent Per Request: 0.336401KB      Bytes Recv Per Request:17.1546KB

=[Download Call]=================================
Request Count: 1985440 Avg Request Time: 7.86603ms       Upstream Time: 7.05543ms        Bytes Sent Per Request: 20.0493KB       Bytes Recv Per Request:0.304844KB

我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！

A机 IO STAT
Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.25   118.35 2.64 56.60    23.16   699.81    24.41     0.05    0.78   0.43   2.55
dm-0              0.00     0.00 0.00 0.00     0.00     0.00     4.34     0.00   12.55 11.78   0.00
dm-1              0.00     3.55 0.08 0.92     0.83    17.88    37.58     0.10 101.35 36.81   3.66

B机 IO STAT
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.00   423.00    1.60 627.00    12.00 4197.60    13.39     1.38    2.20   0.02   1.40
dm-0              0.00     0.00    1.60 905.60    12.00 3622.40     8.01     2.26    2.49   0.01   1.26
dm-1              0.00     0.00    0.00 143.00     0.00   572.00     8.00     0.36    2.50   0.01   0.14

感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？

smallfish.xy

另外默认的proxy_cache只针对GET/HEAD方式有用，POST是无效的。
--

blog: http://chenxiaoyu.org

2012/10/17 smallfish <small...@gmail.com>

如果都是API动态请求，是不是每次构造的URL都不一样？这样的话，proxy_cache其实就是多了一步操作了。
--
blog: http://chenxiaoyu.org

2012/10/17 Freeman Zhang <pcman...@gmail.com>
目前有两台机器
硬件配置相同使用SSD硬盘，nginx 配置也相同，处理量都差不多

其中A机未开启Cache (API是POST请求, Download是Get请求）
=[API Call]======================================
Request Count: 215715 Avg Request Time: 221.1ms Upstream Time: 216.993ms        Bytes Sent Per Request: 0.340434KB      Bytes Recv Per Request:17.36KB

=[Download Call]=================================
Request Count: 1978507 Avg Request Time: 9.11144ms       Upstream Time: 8.67239ms        Bytes Sent Per Request: 20.1346KB       Bytes Recv Per Request:0.305035KB

而B机开启了Proxy Cache用于处理Download请求
=[API Call]======================================
Request Count: 219314 Avg Request Time: 406.382ms        Upstream Time: 391.516ms        Bytes Sent Per Request: 0.336401KB      Bytes Recv Per Request:17.1546KB

=[Download Call]=================================
Request Count: 1985440 Avg Request Time: 7.86603ms       Upstream Time: 7.05543ms        Bytes Sent Per Request: 20.0493KB       Bytes Recv Per Request:0.304844KB

我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！

A机 IO STAT
Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.25   118.35 2.64 56.60    23.16   699.81    24.41     0.05    0.78   0.43   2.55
dm-0              0.00     0.00 0.00 0.00     0.00     0.00     4.34     0.00   12.55 11.78   0.00
dm-1              0.00     3.55 0.08 0.92     0.83    17.88    37.58     0.10 101.35 36.81   3.66

B机 IO STAT
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.00   423.00    1.60 627.00    12.00 4197.60    13.39     1.38    2.20   0.02   1.40
dm-0              0.00     0.00    1.60 905.60    12.00 3622.40     8.01     2.26    2.49   0.01   1.26
dm-1              0.00     0.00    0.00 143.00     0.00   572.00     8.00     0.36    2.50   0.01   0.14

感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？

yaoweibin

POST，是用户上传的内容，不会cache，跟proxy_cache没有关系，看起来A机器的IO压力更高啊。

On 2012/10/17 17:19, Freeman Zhang wrote:

目前有两台机器
硬件配置相同使用SSD硬盘，nginx 配置也相同，处理量都差不多

其中A机未开启Cache (API是POST请求, Download是Get请求）
=[API Call]======================================
Request Count: 215715 Avg Request Time: 221.1ms Upstream Time: 216.993ms        Bytes Sent Per Request: 0.340434KB      Bytes Recv Per Request:17.36KB

=[Download Call]=================================
Request Count: 1978507 Avg Request Time: 9.11144ms       Upstream Time: 8.67239ms        Bytes Sent Per Request: 20.1346KB       Bytes Recv Per Request:0.305035KB

而B机开启了Proxy Cache用于处理Download请求
=[API Call]======================================
Request Count: 219314 Avg Request Time: 406.382ms        Upstream Time: 391.516ms        Bytes Sent Per Request: 0.336401KB      Bytes Recv Per Request:17.1546KB

=[Download Call]=================================
Request Count: 1985440 Avg Request Time: 7.86603ms       Upstream Time: 7.05543ms        Bytes Sent Per Request: 20.0493KB       Bytes Recv Per Request:0.304844KB

我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！

A机 IO STAT
Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.25   118.35 2.64 56.60    23.16   699.81    24.41     0.05    0.78   0.43   2.55
dm-0              0.00     0.00 0.00 0.00     0.00     0.00     4.34     0.00   12.55 11.78   0.00
dm-1              0.00     3.55 0.08 0.92     0.83    17.88    37.58     0.10 101.35 36.81   3.66

B机 IO STAT
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.00   423.00    1.60 627.00    12.00 4197.60    13.39     1.38    2.20   0.02   1.40
dm-0              0.00     0.00    1.60 905.60    12.00 3622.40     8.01     2.26    2.49   0.01   1.26
dm-1              0.00     0.00    0.00 143.00     0.00   572.00     8.00     0.36    2.50   0.01   0.14

感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？

-- 
Thanks
-YWB

pcman.zhang

只有Download的Get配置使用了Cache
API的POST配置肯定不会用Cache的

On Wednesday, October 17, 2012 5:36:25 PM UTC+8, smallfish wrote:

如果都是API动态请求，是不是每次构造的URL都不一样？这样的话，proxy_cache其实就是多了一步操作了。
--
blog: http://chenxiaoyu.org

2012/10/17 Freeman Zhang <pcman...@gmail.com>
目前有两台机器
硬件配置相同使用SSD硬盘，nginx 配置也相同，处理量都差不多

其中A机未开启Cache (API是POST请求, Download是Get请求）
=[API Call]======================================
Request Count: 215715 Avg Request Time: 221.1ms Upstream Time: 216.993ms        Bytes Sent Per Request: 0.340434KB      Bytes Recv Per Request:17.36KB

=[Download Call]=================================
Request Count: 1978507 Avg Request Time: 9.11144ms       Upstream Time: 8.67239ms        Bytes Sent Per Request: 20.1346KB       Bytes Recv Per Request:0.305035KB

而B机开启了Proxy Cache用于处理Download请求
=[API Call]======================================
Request Count: 219314 Avg Request Time: 406.382ms        Upstream Time: 391.516ms        Bytes Sent Per Request: 0.336401KB      Bytes Recv Per Request:17.1546KB

=[Download Call]=================================
Request Count: 1985440 Avg Request Time: 7.86603ms       Upstream Time: 7.05543ms        Bytes Sent Per Request: 20.0493KB       Bytes Recv Per Request:0.304844KB

我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！

A机 IO STAT
Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.25   118.35 2.64 56.60    23.16   699.81    24.41     0.05    0.78   0.43   2.55
dm-0              0.00     0.00 0.00 0.00     0.00     0.00     4.34     0.00   12.55 11.78   0.00
dm-1              0.00     3.55 0.08 0.92     0.83    17.88    37.58     0.10 101.35 36.81   3.66

B机 IO STAT
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.00   423.00    1.60 627.00    12.00 4197.60    13.39     1.38    2.20   0.02   1.40
dm-0              0.00     0.00    1.60 905.60    12.00 3622.40     8.01     2.26    2.49   0.01   1.26
dm-1              0.00     0.00    0.00 143.00     0.00   572.00     8.00     0.36    2.50   0.01   0.14

感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？

pcman.zhang

后端是Java Web API层
且只在Download的Get上面加了Cache
API的POST上面并未配置Cache

On Wednesday, October 17, 2012 5:33:01 PM UTC+8, Azure wrote:

你现在的具体配置是什么。后端是什么程序啊？

在 2012-10-17 下午5:19，"Freeman Zhang" <pcman...@gmail.com>写道：
目前有两台机器
硬件配置相同使用SSD硬盘，nginx 配置也相同，处理量都差不多

其中A机未开启Cache (API是POST请求, Download是Get请求）
=[API Call]======================================
Request Count: 215715 Avg Request Time: 221.1ms Upstream Time: 216.993ms        Bytes Sent Per Request: 0.340434KB      Bytes Recv Per Request:17.36KB

=[Download Call]=================================
Request Count: 1978507 Avg Request Time: 9.11144ms       Upstream Time: 8.67239ms        Bytes Sent Per Request: 20.1346KB       Bytes Recv Per Request:0.305035KB

而B机开启了Proxy Cache用于处理Download请求
=[API Call]======================================
Request Count: 219314 Avg Request Time: 406.382ms        Upstream Time: 391.516ms        Bytes Sent Per Request: 0.336401KB      Bytes Recv Per Request:17.1546KB

=[Download Call]=================================
Request Count: 1985440 Avg Request Time: 7.86603ms       Upstream Time: 7.05543ms        Bytes Sent Per Request: 20.0493KB       Bytes Recv Per Request:0.304844KB

我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！

A机 IO STAT
Device:         rrqm/s   wrqm/s   r/s   w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.25   118.35 2.64 56.60    23.16   699.81    24.41     0.05    0.78   0.43   2.55
dm-0              0.00     0.00 0.00 0.00     0.00     0.00     4.34     0.00   12.55 11.78   0.00
dm-1              0.00     3.55 0.08 0.92     0.83    17.88    37.58     0.10 101.35 36.81   3.66

B机 IO STAT
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await svctm %util
sda               0.00   423.00    1.60 627.00    12.00 4197.60    13.39     1.38    2.20   0.02   1.40
dm-0              0.00     0.00    1.60 905.60    12.00 3622.40     8.01     2.26    2.49   0.01   1.26
dm-1              0.00     0.00    0.00 143.00     0.00   572.00     8.00     0.36    2.50   0.01   0.14

感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？

agentzh

Hello!

2012/10/17 Freeman Zhang:
>
> 我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！
>

proxy cache 是写磁盘的，而写磁盘是阻塞 I/O 操作，会影响 nginx worker 进程及时处理那些 POST
请求的处理。所以很可能是因为你配置了 proxy cache 的 B 机因为 nginx worker 经常长时间阻塞，而导致处理 POST
等其他请求的延时增加。

> B机 IO STAT
> Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz
> avgqu-sz   await  svctm  %util
> sda               0.00   423.00    1.60  627.00    12.00  4197.60    13.39

iostat 的输出证明了 B 机的磁盘写厉害得多。

>
> 感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
> 如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？
>

SSD 的性能优势体现在随机读写上，而 proxy cache 在缓存大响应体时以顺序读写为主，且无论如何都会阻塞 Nginx worker 进程。

建议适当增加 Nginx worker 进程的数目。

另外，FlameGraph 有助于准确分析生产系统中的瓶颈分布，可以得到整个全景图。更多细节可以参见：

    http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/

    http://groups.google.com/group/openresty/browse_thread/thread/bbea6e29658e34c9

Best regards,
-agentzh

yaoweibin

另外一个，如果你的内存够大的话，可以把proxy_cache的目录建立在ramdisk 上面，把内存当硬盘用。


On 2012/10/18 2:05, agentzh wrote:

Hello!

2012/10/17 Freeman Zhang:

我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！

proxy cache 是写磁盘的，而写磁盘是阻塞 I/O 操作，会影响 nginx worker 进程及时处理那些 POST
请求的处理。所以很可能是因为你配置了 proxy cache 的 B 机因为 nginx worker 经常长时间阻塞，而导致处理 POST
等其他请求的延时增加。

B机 IO STAT
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz
avgqu-sz   await  svctm  %util
sda               0.00   423.00    1.60  627.00    12.00  4197.60    13.39

iostat 的输出证明了 B 机的磁盘写厉害得多。

感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？

SSD 的性能优势体现在随机读写上，而 proxy cache 在缓存大响应体时以顺序读写为主，且无论如何都会阻塞 Nginx worker 进程。

建议适当增加 Nginx worker 进程的数目。

另外，FlameGraph 有助于准确分析生产系统中的瓶颈分布，可以得到整个全景图。更多细节可以参见：

     http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/

     http://groups.google.com/group/openresty/browse_thread/thread/bbea6e29658e34c9

Best regards,
-agentzh



--
Thanks
-YWB

bigplum

我记得POST请求是会缓存到磁盘上的，打开cache之后可能还会存在IO竞争的问题。

azure1st

看POST数据多大，超过client_body_buffer_size才会被缓存到磁盘的。

2012/10/18 Simon <big...@gmail.com>

我记得POST请求是会缓存到磁盘上的，打开cache之后可能还会存在IO竞争的问题。

--
Azure.Wang

azure1st

http://wiki.nginx.org/HttpCoreModule#client_body_buffer_size

If the request body size is more than the buffer size, then the entire (or partial) request body is written into a temporary file.

2012/10/18 azure wang <azu...@gmail.com>

看POST数据多大，超过client_body_buffer_size才会被缓存到磁盘的。

2012/10/18 Simon <big...@gmail.com>

我记得POST请求是会缓存到磁盘上的，打开cache之后可能还会存在IO竞争的问题。

--
Azure.Wang

--
Azure.Wang

huaqiuyu

如果不是POST大文件的话，建议配置client_body_temp_path放到内存文件系统里，如下配置

挂载一个tmpfs，参考/etc/fstab

====

...

tmpfs /opt/www/all tmpfs defaults,size=2g 0 0

...

====

nginx配置

...

client_body_temp_path /opt/www/all/temp;

...

在 2012年10月18日上午2:05，agentzh <age...@gmail.com>写道：

Hello!

2012/10/17 Freeman Zhang:
>
> 我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！
>

proxy cache 是写磁盘的，而写磁盘是阻塞 I/O 操作，会影响 nginx worker 进程及时处理那些 POST
请求的处理。所以很可能是因为你配置了 proxy cache 的 B 机因为 nginx worker 经常长时间阻塞，而导致处理 POST
等其他请求的延时增加。

> B机 IO STAT
> Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz
> avgqu-sz await svctm %util
> sda 0.00 423.00 1.60 627.00 12.00 4197.60 13.39

iostat 的输出证明了 B 机的磁盘写厉害得多。

>
> 感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
> 如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？
>

SSD 的性能优势体现在随机读写上，而 proxy cache 在缓存大响应体时以顺序读写为主，且无论如何都会阻塞 Nginx worker 进程。

建议适当增加 Nginx worker 进程的数目。

另外，FlameGraph 有助于准确分析生产系统中的瓶颈分布，可以得到整个全景图。更多细节可以参见：

http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/

http://groups.google.com/group/openresty/browse_thread/thread/bbea6e29658e34c9

Best regards,
-agentzh

pcman.zhang

多谢，我尝试一下。

On Thursday, October 18, 2012 8:57:44 AM UTC+8, Jianhua Qin wrote:

如果不是POST大文件的话，建议配置client_body_temp_path放到内存文件系统里，如下配置
挂载一个tmpfs，参考/etc/fstab
====
...
tmpfs /opt/www/all tmpfs defaults,size=2g 0 0
...

====
nginx配置
...
client_body_temp_path /opt/www/all/temp;
...

在 2012年10月18日上午2:05，agentzh <age...@gmail.com>写道：

Hello!

2012/10/17 Freeman Zhang:
>
> 我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！
>

proxy cache 是写磁盘的，而写磁盘是阻塞 I/O 操作，会影响 nginx worker 进程及时处理那些 POST
请求的处理。所以很可能是因为你配置了 proxy cache 的 B 机因为 nginx worker 经常长时间阻塞，而导致处理 POST
等其他请求的延时增加。

> B机 IO STAT
> Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz
> avgqu-sz await svctm %util
> sda 0.00 423.00 1.60 627.00 12.00 4197.60 13.39

iostat 的输出证明了 B 机的磁盘写厉害得多。

>
> 感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
> 如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？
>

SSD 的性能优势体现在随机读写上，而 proxy cache 在缓存大响应体时以顺序读写为主，且无论如何都会阻塞 Nginx worker 进程。

建议适当增加 Nginx worker 进程的数目。

另外，FlameGraph 有助于准确分析生产系统中的瓶颈分布，可以得到整个全景图。更多细节可以参见：

http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/

http://groups.google.com/group/openresty/browse_thread/thread/bbea6e29658e34c9

Best regards,
-agentzh

pcman.zhang

好的，我来profiling一下

On Thursday, October 18, 2012 2:05:36 AM UTC+8, agentzh wrote:

Hello!
2012/10/17 Freeman Zhang:
>
> 我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！
>
proxy cache 是写磁盘的，而写磁盘是阻塞 I/O 操作，会影响 nginx worker 进程及时处理那些 POST
请求的处理。所以很可能是因为你配置了 proxy cache 的 B 机因为 nginx worker 经常长时间阻塞，而导致处理 POST
等其他请求的延时增加。
> B机 IO STAT
> Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz
> avgqu-sz await svctm %util
> sda 0.00 423.00 1.60 627.00 12.00 4197.60 13.39
iostat 的输出证明了 B 机的磁盘写厉害得多。
>
> 感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
> 如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？
>
SSD 的性能优势体现在随机读写上，而 proxy cache 在缓存大响应体时以顺序读写为主，且无论如何都会阻塞 Nginx worker 进程。
建议适当增加 Nginx worker 进程的数目。
另外，FlameGraph 有助于准确分析生产系统中的瓶颈分布，可以得到整个全景图。更多细节可以参见：
http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/
http://groups.google.com/group/openresty/browse_thread/thread/bbea6e29658e34c9
Best regards,
-agentzh

pcman.zhang

经调整client_body_buffer_size，目前性能有显著提升
从400ms的平均值到了11ms

多谢大家！

On Thursday, October 18, 2012 2:05:36 AM UTC+8, agentzh wrote:

Hello!
2012/10/17 Freeman Zhang:
>
> 我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！
>
proxy cache 是写磁盘的，而写磁盘是阻塞 I/O 操作，会影响 nginx worker 进程及时处理那些 POST
请求的处理。所以很可能是因为你配置了 proxy cache 的 B 机因为 nginx worker 经常长时间阻塞，而导致处理 POST
等其他请求的延时增加。
> B机 IO STAT
> Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz
> avgqu-sz await svctm %util
> sda 0.00 423.00 1.60 627.00 12.00 4197.60 13.39
iostat 的输出证明了 B 机的磁盘写厉害得多。
>
> 感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
> 如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？
>
SSD 的性能优势体现在随机读写上，而 proxy cache 在缓存大响应体时以顺序读写为主，且无论如何都会阻塞 Nginx worker 进程。
建议适当增加 Nginx worker 进程的数目。
另外，FlameGraph 有助于准确分析生产系统中的瓶颈分布，可以得到整个全景图。更多细节可以参见：
http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/
http://groups.google.com/group/openresty/browse_thread/thread/bbea6e29658e34c9
Best regards,
-agentzh

azure1st

我有个例子使用nginx_lua 方式请求被缓存到磁盘上。

http://www.fei1984.com/?p=50

在 2012年10月18日下午1:57，Freeman Zhang <pcman...@gmail.com>写道：

经调整client_body_buffer_size，目前性能有显著提升
从400ms的平均值到了11ms

多谢大家！

On Thursday, October 18, 2012 2:05:36 AM UTC+8, agentzh wrote:

Hello!
2012/10/17 Freeman Zhang:
>
> 我们可以观察到, B机处理POST请求平均每个Request比A机慢了180ms！！
>
proxy cache 是写磁盘的，而写磁盘是阻塞 I/O 操作，会影响 nginx worker 进程及时处理那些 POST
请求的处理。所以很可能是因为你配置了 proxy cache 的 B 机因为 nginx worker 经常长时间阻塞，而导致处理 POST
等其他请求的延时增加。
> B机 IO STAT
> Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz
> avgqu-sz await svctm %util
> sda 0.00 423.00 1.60 627.00 12.00 4197.60 13.39
iostat 的输出证明了 B 机的磁盘写厉害得多。
>
> 感觉这两台机器都未达Load瓶颈，且都配置的是SSD硬盘。
> 如果要使得增加Cache后的POST性能赶上未增加Cache的机器，应该如何做？
>
SSD 的性能优势体现在随机读写上，而 proxy cache 在缓存大响应体时以顺序读写为主，且无论如何都会阻塞 Nginx worker 进程。
建议适当增加 Nginx worker 进程的数目。
另外，FlameGraph 有助于准确分析生产系统中的瓶颈分布，可以得到整个全景图。更多细节可以参见：
http://dtrace.org/blogs/brendan/2011/12/16/flame-graphs/

http://groups.google.com/group/openresty/browse_thread/thread/bbea6e29658e34c9
Best regards,
-agentzh

--
Azure.Wang