如何验证Nginx的aio_write性能？

zcheng1004

在Upstream访问后端服务器的时候，如果开启aio_write，在向后端请求大文件时，aio_write是否有效？

zcheng1004

搭了一个简单的POC模型：

后端upstream：

worker_processes 8;


events {
    accept_mutex off;
}

http {

    access_log off;

    server {
        listen 8001;

        location /images {
            root /home/zhangcheng/Documents/;
        }
    }
}

前端Nginx ：

worker_processes 8;


events {
    accept_mutex off;
}

http {

    access_log off;

    upstream backend {
        # server ;
        server 10.240.200.56:8001;
    }

    server {
        listen 8000;

        location ~ /(.*) {
            sendfile on;
            sendfile_max_chunk 256k;
            aio threads;
            directio 256k;
            proxy_pass http://backend/images/$1;
        }
    }
}

持续请求后端服务器大文件时，本地工作目录下应该有缓存，可是目前还没有看到，请问我的配置有问题吗？

在 2018年3月20日星期二 UTC+8下午4:15:11，ch Zee写道：

在Upstream访问后端服务器的时候，如果开启aio_write，在向后端请求大文件时，aio_write是否有效？

zcheng1004

spacewanderlzx

aio_write 只支持 thread，所以应该不会看到 io_submit 之类的函数。GDB 断点跟一下
ngx_http_upstream_thread_event_handler 这个函数？

在 2018年3月22日 下午3:45，ch Zee <zche...@gmail.com> 写道：
> 最新进展：
>
> 利用strace跟踪大文件传输测试：(节选了部分输出日志)
> epoll_wait(7, [{EPOLLIN, {u32=8153920, u64=8153920}}], 512, 59848) = 1
> readv(10, [{"is\nMy name is"..., 4096}, {"\nMy name is\n"..., 4096}], 2) =
> 8192
> futex(0x2452a74, FUTEX_WAKE_OP_PRIVATE, 1, 1, 0x2452a70, {FUTEX_OP_SET, 0,
> FUTEX_OP_CMP_GT, 1}) = 1
> futex(0x2452a30, FUTEX_WAKE_PRIVATE, 1) = 1
>
> writev(3, [{" name is\nMy name is z"..., 4096}, {"e is\nMy name is"...,
> 4096}, {"\nMy name is"..., 4096}, {"\nMy name is\nMy"..., 4096}, {"eng\nMy
> name is\nMy nam"..., 4096}, {"My name is\nMy name is"..., 3762}], 6) = 24242
>
>
> 请求的文件为txt格式，内容为“My name is”
>
> 在日志文件中，并没有看到io_submit等函数调用。因此，是不是可以判定没有用到aio_write，大家有没有什么办法来进行aio_write测试？
> 急求
>
>
> 在 2018年3月22日星期四 UTC+8上午9:56:28，ch Zee写道：
>>
>> 搭了一个简单的POC模型：
>>
>> 后端upstream：
>> worker_processes 8;
>>
>>
>> events {
>>     accept_mutex off;
>> }
>>
>> http {
>>
>>     access_log off;
>>
>>     server {
>>         listen 8001;
>>
>>         location /images {
>>             root /home/zhangcheng/Documents/;
>>         }
>>     }
>> }
>>
>> 前端Nginx ：
>> worker_processes 8;
>>
>>
>> events {
>>     accept_mutex off;
>> }
>>
>> http {
>>
>>     access_log off;
>>
>>     upstream backend {
>>         # server ;
>>         server 10.240.200.56:8001;
>>     }
>>
>>     server {
>>         listen 8000;
>>
>>         location ~ /(.*) {
>>             sendfile on;
>>             sendfile_max_chunk 256k;
>>             aio threads;
>>             directio 256k;
>>             proxy_pass http://backend/images/$1;
>>         }
>>     }
>> }
>>
>> 持续请求后端服务器大文件时，本地工作目录下应该有缓存，可是目前还没有看到，请问我的配置有问题吗？
>>
>> 在 2018年3月20日星期二 UTC+8下午4:15:11，ch Zee写道：
>>>
>>> 在Upstream访问后端服务器的时候，如果开启aio_write，在向后端请求大文件时，aio_write是否有效？
>
> --
>

zcheng1004

为什么回复就被删帖啊。

用gdb断点都打不上。

还有日志提示， an upstream response is buffered to a temporary file /home/zhangcheng/Documents/nginx_aio_test/proxy_temp/7/03/0000000037 while reading upstream,

但是目录下面找不到0000000037，nginx的文件缓存不可见？

在 2018年3月22日星期四 UTC+8下午3:45:04，ch Zee写道：

最新进展：

利用strace跟踪大文件传输测试：(节选了部分输出日志)
epoll_wait(7, [{EPOLLIN, {u32=8153920, u64=8153920}}], 512, 59848) = 1 readv(10, [{"is\nMy name is"..., 4096}, {"\nMy name is\n"..., 4096}], 2) = 8192 futex(0x2452a74, FUTEX_WAKE_OP_PRIVATE, 1, 1, 0x2452a70, {FUTEX_OP_SET, 0, FUTEX_OP_CMP_GT, 1}) = 1 futex(0x2452a30, FUTEX_WAKE_PRIVATE, 1) = 1 writev(3, [{" name is\nMy name is z"..., 4096}, {"e is\nMy name is"..., 4096}, {"\nMy name is"..., 4096}, {"\nMy name is\nMy"..., 4096}, {"eng\nMy name is\nMy nam"..., 4096}, {"My name is\nMy name is"..., 3762}], 6) = 24242

请求的文件为txt格式，内容为“My name is”

在日志文件中，并没有看到io_submit等函数调用。因此，是不是可以判定没有用到aio_write，大家有没有什么办法来进行aio_write测试？急求

在 2018年3月22日星期四 UTC+8上午9:56:28，ch Zee写道：
搭了一个简单的POC模型：

后端upstream：
worker_processes 8; events { accept_mutex off; } http { access_log off; server { listen 8001; location /images { root /home/zhangcheng/Documents/; } } }

前端Nginx ：
worker_processes 8; events { accept_mutex off; } http { access_log off; upstream backend { # server ; server 10.240.200.56:8001; } server { listen 8000; location ~ /(.*) { sendfile on; sendfile_max_chunk 256k; aio threads; directio 256k; proxy_pass http://backend/images/$1; } } }

持续请求后端服务器大文件时，本地工作目录下应该有缓存，可是目前还没有看到，请问我的配置有问题吗？

在 2018年3月20日星期二 UTC+8下午4:15:11，ch Zee写道：
在Upstream访问后端服务器的时候，如果开启aio_write，在向后端请求大文件时，aio_write是否有效？

zcheng1004

通过gdb断点调试了。目前，能更到进程中：

在ngx_http_upstream_send_response函数中有这样一段：

#if (NGX_THREADS)
    if (clcf->aio == NGX_HTTP_AIO_THREADS && clcf->aio_write) {
        p->thread_handler = ngx_http_upstream_thread_handler;
        p->thread_ctx = r;
    }
#endif

断点到这，确定执行了。然后在跟进去ngx_http_upstream_thread_handler

    if (ngx_thread_task_post(tp, task) != NGX_OK) {
        return NGX_ERROR;
    }

发现，Nginx的aio_write就是将写任务交给线程池进行操作，

继续调试，跟进到线程中，ngx_event_pipe_write_chain_to_temp_file。在这里写入到临时文件。

因此，Nginx的aio_write实际上就是叫写临时文件的操作交给线程池进行，避免阻塞，达到异步的效果。

在 2018年3月22日星期四 UTC+8下午5:54:24，ch Zee写道：

为什么回复就被删帖啊。

用gdb断点都打不上。

还有日志提示， an upstream response is buffered to a temporary file /home/zhangcheng/Documents/nginx_aio_test/proxy_temp/7/03/0000000037 while reading upstream,

但是目录下面找不到0000000037，nginx的文件缓存不可见？

在 2018年3月22日星期四 UTC+8下午3:45:04，ch Zee写道：
最新进展：

利用strace跟踪大文件传输测试：(节选了部分输出日志)
epoll_wait(7, [{EPOLLIN, {u32=8153920, u64=8153920}}], 512, 59848) = 1 readv(10, [{"is\nMy name is"..., 4096}, {"\nMy name is\n"..., 4096}], 2) = 8192 futex(0x2452a74, FUTEX_WAKE_OP_PRIVATE, 1, 1, 0x2452a70, {FUTEX_OP_SET, 0, FUTEX_OP_CMP_GT, 1}) = 1 futex(0x2452a30, FUTEX_WAKE_PRIVATE, 1) = 1 writev(3, [{" name is\nMy name is z"..., 4096}, {"e is\nMy name is"..., 4096}, {"\nMy name is"..., 4096}, {"\nMy name is\nMy"..., 4096}, {"eng\nMy name is\nMy nam"..., 4096}, {"My name is\nMy name is"..., 3762}], 6) = 24242

请求的文件为txt格式，内容为“My name is”

在日志文件中，并没有看到io_submit等函数调用。因此，是不是可以判定没有用到aio_write，大家有没有什么办法来进行aio_write测试？急求

在 2018年3月22日星期四 UTC+8上午9:56:28，ch Zee写道：
搭了一个简单的POC模型：

后端upstream：
worker_processes 8; events { accept_mutex off; } http { access_log off; server { listen 8001; location /images { root /home/zhangcheng/Documents/; } } }

前端Nginx ：
worker_processes 8; events { accept_mutex off; } http { access_log off; upstream backend { # server ; server 10.240.200.56:8001; } server { listen 8000; location ~ /(.*) { sendfile on; sendfile_max_chunk 256k; aio threads; directio 256k; proxy_pass http://backend/images/$1; } } }

持续请求后端服务器大文件时，本地工作目录下应该有缓存，可是目前还没有看到，请问我的配置有问题吗？

在 2018年3月20日星期二 UTC+8下午4:15:11，ch Zee写道：
在Upstream访问后端服务器的时候，如果开启aio_write，在向后端请求大文件时，aio_write是否有效？

zcheng1004

可是，为什么在我进行大文件测试的时候，并没有看到本地有文件缓存，而且日志中打印了 an upstream response is buffered to a temporary file /home/zhangcheng/Documents/nginx_aio_test/proxy_temp/7/03/0000000037 while reading upstream

在本地根本就看不到0000000037这个文件。

在 2018年3月23日星期五 UTC+8下午1:20:35，ch Zee写道：

通过gdb断点调试了。目前，能更到进程中：

在ngx_http_upstream_send_response函数中有这样一段：

#if (NGX_THREADS) if (clcf->aio == NGX_HTTP_AIO_THREADS && clcf->aio_write) { p->thread_handler = ngx_http_upstream_thread_handler; p->thread_ctx = r; } #endif

断点到这，确定执行了。然后在跟进去ngx_http_upstream_thread_handler

if (ngx_thread_task_post(tp, task) != NGX_OK) { return NGX_ERROR; }
发现，Nginx的aio_write就是将写任务交给线程池进行操作，

继续调试，跟进到线程中，ngx_event_pipe_write_chain_to_temp_file。在这里写入到临时文件。

因此，Nginx的aio_write实际上就是叫写临时文件的操作交给线程池进行，避免阻塞，达到异步的效果。

在 2018年3月22日星期四 UTC+8下午5:54:24，ch Zee写道：
为什么回复就被删帖啊。

用gdb断点都打不上。

还有日志提示， an upstream response is buffered to a temporary file /home/zhangcheng/Documents/nginx_aio_test/proxy_temp/7/03/0000000037 while reading upstream,

但是目录下面找不到0000000037，nginx的文件缓存不可见？

在 2018年3月22日星期四 UTC+8下午3:45:04，ch Zee写道：
最新进展：

利用strace跟踪大文件传输测试：(节选了部分输出日志)
epoll_wait(7, [{EPOLLIN, {u32=8153920, u64=8153920}}], 512, 59848) = 1 readv(10, [{"is\nMy name is"..., 4096}, {"\nMy name is\n"..., 4096}], 2) = 8192 futex(0x2452a74, FUTEX_WAKE_OP_PRIVATE, 1, 1, 0x2452a70, {FUTEX_OP_SET, 0, FUTEX_OP_CMP_GT, 1}) = 1 futex(0x2452a30, FUTEX_WAKE_PRIVATE, 1) = 1 writev(3, [{" name is\nMy name is z"..., 4096}, {"e is\nMy name is"..., 4096}, {"\nMy name is"..., 4096}, {"\nMy name is\nMy"..., 4096}, {"eng\nMy name is\nMy nam"..., 4096}, {"My name is\nMy name is"..., 3762}], 6) = 24242

请求的文件为txt格式，内容为“My name is”

在日志文件中，并没有看到io_submit等函数调用。因此，是不是可以判定没有用到aio_write，大家有没有什么办法来进行aio_write测试？急求

在 2018年3月22日星期四 UTC+8上午9:56:28，ch Zee写道：
搭了一个简单的POC模型：

后端upstream：
worker_processes 8; events { accept_mutex off; } http { access_log off; server { listen 8001; location /images { root /home/zhangcheng/Documents/; } } }

前端Nginx ：
worker_processes 8; events { accept_mutex off; } http { access_log off; upstream backend { # server ; server 10.240.200.56:8001; } server { listen 8000; location ~ /(.*) { sendfile on; sendfile_max_chunk 256k; aio threads; directio 256k; proxy_pass http://backend/images/$1; } } }

持续请求后端服务器大文件时，本地工作目录下应该有缓存，可是目前还没有看到，请问我的配置有问题吗？

在 2018年3月20日星期二 UTC+8下午4:15:11，ch Zee写道：
在Upstream访问后端服务器的时候，如果开启aio_write，在向后端请求大文件时，aio_write是否有效？

zchao1995

请求结束之后临时的缓存就被删掉了。你可以使用 proxy_store 或者 proxy_cache 将文件保存下来。

On Friday, March 23, 2018 at 1:22:36 PM UTC+8, ch Zee wrote:

可是，为什么在我进行大文件测试的时候，并没有看到本地有文件缓存，而且日志中打印了 an upstream response is buffered to a temporary file /home/zhangcheng/Documents/nginx_aio_test/proxy_temp/7/03/0000000037 while reading upstream

在本地根本就看不到0000000037这个文件。

在 2018年3月23日星期五 UTC+8下午1:20:35，ch Zee写道：
通过gdb断点调试了。目前，能更到进程中：

在ngx_http_upstream_send_response函数中有这样一段：

#if (NGX_THREADS) if (clcf->aio == NGX_HTTP_AIO_THREADS && clcf->aio_write) { p->thread_handler = ngx_http_upstream_thread_handler; p->thread_ctx = r; } #endif

断点到这，确定执行了。然后在跟进去ngx_http_upstream_thread_handler

if (ngx_thread_task_post(tp, task) != NGX_OK) { return NGX_ERROR; }
发现，Nginx的aio_write就是将写任务交给线程池进行操作，

继续调试，跟进到线程中，ngx_event_pipe_write_chain_to_temp_file。在这里写入到临时文件。

因此，Nginx的aio_write实际上就是叫写临时文件的操作交给线程池进行，避免阻塞，达到异步的效果。

在 2018年3月22日星期四 UTC+8下午5:54:24，ch Zee写道：
为什么回复就被删帖啊。

用gdb断点都打不上。

还有日志提示， an upstream response is buffered to a temporary file /home/zhangcheng/Documents/nginx_aio_test/proxy_temp/7/03/0000000037 while reading upstream,

但是目录下面找不到0000000037，nginx的文件缓存不可见？

在 2018年3月22日星期四 UTC+8下午3:45:04，ch Zee写道：
最新进展：

利用strace跟踪大文件传输测试：(节选了部分输出日志)
epoll_wait(7, [{EPOLLIN, {u32=8153920, u64=8153920}}], 512, 59848) = 1 readv(10, [{"is\nMy name is"..., 4096}, {"\nMy name is\n"..., 4096}], 2) = 8192 futex(0x2452a74, FUTEX_WAKE_OP_PRIVATE, 1, 1, 0x2452a70, {FUTEX_OP_SET, 0, FUTEX_OP_CMP_GT, 1}) = 1 futex(0x2452a30, FUTEX_WAKE_PRIVATE, 1) = 1 writev(3, [{" name is\nMy name is z"..., 4096}, {"e is\nMy name is"..., 4096}, {"\nMy name is"..., 4096}, {"\nMy name is\nMy"..., 4096}, {"eng\nMy name is\nMy nam"..., 4096}, {"My name is\nMy name is"..., 3762}], 6) = 24242

请求的文件为txt格式，内容为“My name is”

在日志文件中，并没有看到io_submit等函数调用。因此，是不是可以判定没有用到aio_write，大家有没有什么办法来进行aio_write测试？急求

在 2018年3月22日星期四 UTC+8上午9:56:28，ch Zee写道：
搭了一个简单的POC模型：

后端upstream：
worker_processes 8; events { accept_mutex off; } http { access_log off; server { listen 8001; location /images { root /home/zhangcheng/Documents/; } } }

前端Nginx ：
worker_processes 8; events { accept_mutex off; } http { access_log off; upstream backend { # server ; server 10.240.200.56:8001; } server { listen 8000; location ~ /(.*) { sendfile on; sendfile_max_chunk 256k; aio threads; directio 256k; proxy_pass http://backend/images/$1; } } }

持续请求后端服务器大文件时，本地工作目录下应该有缓存，可是目前还没有看到，请问我的配置有问题吗？

在 2018年3月20日星期二 UTC+8下午4:15:11，ch Zee写道：
在Upstream访问后端服务器的时候，如果开启aio_write，在向后端请求大文件时，aio_write是否有效？

zcheng1004

谢谢，现在可以看到临时文件了。

目前应该可以确定aio_write功能生效了。后续进行性能测试。
在 2018年3月23日星期五 UTC+8下午1:42:55，tokers写道：

请求结束之后临时的缓存就被删掉了。你可以使用 proxy_store 或者 proxy_cache 将文件保存下来。

On Friday, March 23, 2018 at 1:22:36 PM UTC+8, ch Zee wrote:
可是，为什么在我进行大文件测试的时候，并没有看到本地有文件缓存，而且日志中打印了 an upstream response is buffered to a temporary file /home/zhangcheng/Documents/nginx_aio_test/proxy_temp/7/03/0000000037 while reading upstream

在本地根本就看不到0000000037这个文件。

在 2018年3月23日星期五 UTC+8下午1:20:35，ch Zee写道：
通过gdb断点调试了。目前，能更到进程中：

在ngx_http_upstream_send_response函数中有这样一段：

#if (NGX_THREADS) if (clcf->aio == NGX_HTTP_AIO_THREADS && clcf->aio_write) { p->thread_handler = ngx_http_upstream_thread_handler; p->thread_ctx = r; } #endif

断点到这，确定执行了。然后在跟进去ngx_http_upstream_thread_handler

if (ngx_thread_task_post(tp, task) != NGX_OK) { return NGX_ERROR; }
发现，Nginx的aio_write就是将写任务交给线程池进行操作，

继续调试，跟进到线程中，ngx_event_pipe_write_chain_to_temp_file。在这里写入到临时文件。

因此，Nginx的aio_write实际上就是叫写临时文件的操作交给线程池进行，避免阻塞，达到异步的效果。

在 2018年3月22日星期四 UTC+8下午5:54:24，ch Zee写道：
为什么回复就被删帖啊。

用gdb断点都打不上。

还有日志提示， an upstream response is buffered to a temporary file /home/zhangcheng/Documents/nginx_aio_test/proxy_temp/7/03/0000000037 while reading upstream,

但是目录下面找不到0000000037，nginx的文件缓存不可见？

在 2018年3月22日星期四 UTC+8下午3:45:04，ch Zee写道：
最新进展：

利用strace跟踪大文件传输测试：(节选了部分输出日志)
epoll_wait(7, [{EPOLLIN, {u32=8153920, u64=8153920}}], 512, 59848) = 1 readv(10, [{"is\nMy name is"..., 4096}, {"\nMy name is\n"..., 4096}], 2) = 8192 futex(0x2452a74, FUTEX_WAKE_OP_PRIVATE, 1, 1, 0x2452a70, {FUTEX_OP_SET, 0, FUTEX_OP_CMP_GT, 1}) = 1 futex(0x2452a30, FUTEX_WAKE_PRIVATE, 1) = 1 writev(3, [{" name is\nMy name is z"..., 4096}, {"e is\nMy name is"..., 4096}, {"\nMy name is"..., 4096}, {"\nMy name is\nMy"..., 4096}, {"eng\nMy name is\nMy nam"..., 4096}, {"My name is\nMy name is"..., 3762}], 6) = 24242

请求的文件为txt格式，内容为“My name is”

在日志文件中，并没有看到io_submit等函数调用。因此，是不是可以判定没有用到aio_write，大家有没有什么办法来进行aio_write测试？急求

在 2018年3月22日星期四 UTC+8上午9:56:28，ch Zee写道：
搭了一个简单的POC模型：

后端upstream：
worker_processes 8; events { accept_mutex off; } http { access_log off; server { listen 8001; location /images { root /home/zhangcheng/Documents/; } } }

前端Nginx ：
worker_processes 8; events { accept_mutex off; } http { access_log off; upstream backend { # server ; server 10.240.200.56:8001; } server { listen 8000; location ~ /(.*) { sendfile on; sendfile_max_chunk 256k; aio threads; directio 256k; proxy_pass http://backend/images/$1; } } }

持续请求后端服务器大文件时，本地工作目录下应该有缓存，可是目前还没有看到，请问我的配置有问题吗？

在 2018年3月20日星期二 UTC+8下午4:15:11，ch Zee写道：
在Upstream访问后端服务器的时候，如果开启aio_write，在向后端请求大文件时，aio_write是否有效？