Re: 求教memc_nginx+srcache_nginx+memcached遇到的问题

agentzh

Hello!

2013/8/22 徐鸿鹄:
> 请教个问题，memc_nginx+srcache_nginx+memcached
> 对于http://ip/pp.php?path=group3__M00/9D/C5/Ch_3uVIQg6K2s81YAADRxNCekL8095.jpg，;
> memcached缓存只缓存响应头，响应主体却丢失了。这个是什么原因呢？
> Ch_3uVIQg6K2s81YAADRxNCekL8095.jpg图片大小小于1M。

看起来像是 Nginx 1.5.3 以前的版本（不含）中的一个由来已久的 bug，即 upstream
响应截断时并不报错。可惜你并没有提供你使用的 Nginx 的版本，所以无从确定。

如果你使用的是官方的 Nginx 1.5.3 以前的版本的话，你需要给它打上下面这个补丁：

https://github.com/agentzh/ngx_openresty/blob/master/patches/nginx-1.4.2-upstream_truncation.patch

如果你使用的是足够新的 ngx_openresty 软件包的话（比如最近几个月以内的版本），则你的 Nginx 已经包含了这个补丁。

对于这个问题的更多细节可以参见 ngx_srcache 模块的官方文档：

    http://wiki.nginx.org/HttpSRCacheModule#Installation

建议在报告问题时总是主动提供你所使用的相关软件的版本号，比如 nginx 的版本号、ngx_srcache 模块的版本号、ngx_memc
的版本号，还有操作系统的种类和版本之类。另外，对于 nginx 相关的问题来说，提供 /path/to/nginx -V
命令的输出也是很有用的。

另外，建议启用 Nginx 的调试日志以取得更多信息（但不建议在生产环境中开启！）：

    http://wiki.nginx.org/Debugging#Debugging_log

同时抄送给 openresty 中文邮件列表：https://groups.google.com/group/openresty-en
建议加入此列表并总是在那里交流这样的问题。谢谢合作！

Best regards,
-agentzh

xhh_0168

hi
nginx&amp;module信息如下：
nginx version: ngx_openresty/1.4.2.1
built by gcc 4.1.2 20080704 (Red Hat 4.1.2-54)
TLS SNI support disabled
configure arguments: --prefix=/usr/local/nginx1.4 --with-http_stub_status_module --with-http_sub_module --with-http_ssl_module --with-http_realip_module --with-http_gzip_static_module --with-file-aio --with-http_secure_link_module --with-pcre=../../../pcre-8.31 --add-module=../ngx_devel_kit-0.2.18 --add-module=../echo-nginx-module-0.46 --add-module=../memc-nginx-module-0.13rc3 --add-module=../srcache-nginx-module-0.22 --add-module=../redis-nginx-module-0.3.6 --add-module=../redis2-nginx-module-0.10 --add-module=../set-misc-nginx-module-0.22rc8

还是会出现响应主体被截断的现象。 debug没有内容输出。
在 2013-08-24 09:21:45，"Yichun Zhang (agentzh)" <age...@gmail.com> 写道：
>Hello!
>
>2013/8/22 徐鸿鹄:
>> 请教个问题，memc_nginx+srcache_nginx+memcached
>> 对于http://ip/pp.php?path=group3__M00/9D/C5/Ch_3uVIQg6K2s81YAADRxNCekL8095.jpg，;
>> memcached缓存只缓存响应头，响应主体却丢失了。这个是什么原因呢？
>> Ch_3uVIQg6K2s81YAADRxNCekL8095.jpg图片大小小于1M。
>
>看起来像是 Nginx 1.5.3 以前的版本（不含）中的一个由来已久的 bug，即 upstream
>响应截断时并不报错。可惜你并没有提供你使用的 Nginx 的版本，所以无从确定。
>
>如果你使用的是官方的 Nginx 1.5.3 以前的版本的话，你需要给它打上下面这个补丁：
>
>https://github.com/agentzh/ngx_openresty/blob/master/patches/nginx-1.4.2-upstream_truncation.patch
>
>如果你使用的是足够新的 ngx_openresty 软件包的话（比如最近几个月以内的版本），则你的 Nginx 已经包含了这个补丁。
>
>对于这个问题的更多细节可以参见 ngx_srcache 模块的官方文档：
>
>    http://wiki.nginx.org/HttpSRCacheModule#Installation
>
>建议在报告问题时总是主动提供你所使用的相关软件的版本号，比如 nginx 的版本号、ngx_srcache 模块的版本号、ngx_memc
>的版本号，还有操作系统的种类和版本之类。另外，对于 nginx 相关的问题来说，提供 /path/to/nginx -V
>命令的输出也是很有用的。
>
>另外，建议启用 Nginx 的调试日志以取得更多信息（但不建议在生产环境中开启！）：
>
>    http://wiki.nginx.org/Debugging#Debugging_log
>
>同时抄送给 openresty 中文邮件列表：https://groups.google.com/group/openresty-en
>建议加入此列表并总是在那里交流这样的问题。谢谢合作！
>
>Best regards,
>-agentzh

agentzh

Hello!

2013/8/23 徐鸿鹄:
>
> 还是会出现响应主体被截断的现象。 debug没有内容输出。

如果你真的启用了 nginx 的调试日志的话，你必会在 nginx 的 error.log 里面看到大量的 [debug]
级别的日志信息，不仅 ngx_srcache 会输出调试信息，nginx 核心及几乎所有其他模块都会输出很多细节信息。请确认

1. 你在构造 nginx 或者 openresty 时向 ./configure 脚本传递了 --with-debug 选项；
2. 你在 nginx.conf 配置文件中给所有的 error_log 指令都配置了 debug 过滤级别，例如

    error_log logs/error.log debug;

见 http://wiki.nginx.org/CoreModule#error_log

另外，请尽量提供一个最小化的完整的示例，让我能在我本地复现你看到的问题，因为那样的话，我就可以很快地确定问题的原因，从而节约我们的时间 :)

Best regards,
-agentzh

xhh_0168

hi
占用你时间，抱歉。 我用nginx1.5.3版本，也会出现这个问题。
# /usr/local/nginx1.4/sbin/nginx -V
nginx version: ngx_openresty/1.4.2.1
built by gcc 4.1.2 20080704 (Red Hat 4.1.2-54)
TLS SNI support disabled
configure arguments: --prefix=/usr/local/nginx1.4 --with-http_stub_status_module --with-http_sub_module --with-http_ssl_module --with-http_realip_module --with-http_gzip_static_module --with-file-aio --with-http_secure_link_module --with-pcre=../../../pcre-8.31 --add-module=../ngx_devel_kit-0.2.18 --add-module=../echo-nginx-module-0.46 --add-module=../memc-nginx-module-0.13rc3 --add-module=../srcache-nginx-module-0.22 --add-module=../redis-nginx-module-0.3.6 --add-module=../redis2-nginx-module-0.10 --add-module=../set-misc-nginx-module-0.22rc8 --with-debug

配置段：

location /memc {
         internal;
         set $memc_key $query_string;
         memc_pass 127.0.0.1:22222;
 }

location ~ .*\.php$
{
         srcache_methods GET;
         srcache_response_cache_control off;
         if ($uri ~ /plugin/){
                 set $key $request_uri;
                 srcache_fetch GET /memc $key;
                 srcache_store PUT /memc $key;
                 srcache_max_expire 1d;
                 add_header X-Cached-Fetch $srcache_fetch_status;
                 add_header X-Cached-Store $srcache_store_status;
         }
        include fastcgi_params;
       include fastcgi.conf;
}
在 2013-08-25 02:54:55，"Yichun Zhang (agentzh)" <age...@gmail.com> 写道：
>Hello!
>
>2013/8/23 徐鸿鹄:
>>
>> 还是会出现响应主体被截断的现象。 debug没有内容输出。
>
>如果你真的启用了 nginx 的调试日志的话，你必会在 nginx 的 error.log 里面看到大量的 [debug]
>级别的日志信息，不仅 ngx_srcache 会输出调试信息，nginx 核心及几乎所有其他模块都会输出很多细节信息。请确认
>
>1. 你在构造 nginx 或者 openresty 时向 ./configure 脚本传递了 --with-debug 选项；
>2. 你在 nginx.conf 配置文件中给所有的 error_log 指令都配置了 debug 过滤级别，例如
>
>    error_log logs/error.log debug;
>
>见 http://wiki.nginx.org/CoreModule#error_log
>
>另外，请尽量提供一个最小化的完整的示例，让我能在我本地复现你看到的问题，因为那样的话，我就可以很快地确定问题的原因，从而节约我们的时间 :)
>
>Best regards,
>-agentzh

agentzh

Hello!

2013/8/24 徐鸿鹄:
> 配置段：
>
> location /memc {
>          internal;
>          set $memc_key $query_string;
>          memc_pass 127.0.0.1:22222;
>  }
>
> location ~ .*\.php$
> {
>          srcache_methods GET;
>          srcache_response_cache_control off;
>          if ($uri ~ /plugin/){
>                  set $key $request_uri;
>                  srcache_fetch GET /memc $key;
>                  srcache_store PUT /memc $key;
>                  srcache_max_expire 1d;
>                  add_header X-Cached-Fetch $srcache_fetch_status;
>                  add_header X-Cached-Store $srcache_store_status;
>          }
>         include fastcgi_params;
>        include fastcgi.conf;
> }

你这里给出的例子不完整。我并不知道你发起的是什么样的请求，我也不知道你究竟看到了什么，以及具体是如何判断这里的行为有问题的。你应当提供能复现问题所需的具体步骤以及你看到的实际输出（或其他具体的现象），而不是很笼统的描述，这样可以节约我对你的配置和操作进行盲目猜测的时间和麻烦。

另外，如我前面所说的，建议在你那里正确地启用 Nginx 调试日志，并提供问题请求所对应的所有的调试日志消息。

Regards,
-agentzh

xhh_0168

hello
抱歉

nginx配置见附件 ngx_conf.txt

请求地址：http://121.207.240.42:8090/plugin/test/pp.php?path=group3__M00/9D/C5/Ch_3uVIQg6K2s81YAADRxNCekL8095.jpg

以/plugin/test/pp.php?path=group3__M00/9D/C5/Ch_3uVIQg6K2s81YAADRxNCekL8095.jpg为key。

# telnet 10.1.240.166 22222

get /plugin/test/pp.php?path=group3__M00/9D/C5/Ch_3uVIQg6K2s81YAADRxNCekL8095.jpg 结果见附件get_mem.jpg

同时ab测试时，有failed requests记录

Failed requests: 2414

(Connect: 0, Length: 2414, Exceptions: 0)

能分析原因吗？谢谢


在 2013-08-25 13:13:14，"Yichun Zhang (agentzh)" <age...@gmail.com> 写道：
>Hello!
>
>2013/8/24 徐鸿鹄:
>> 配置段：
>>
>> location /memc {
>>          internal;
>>          set $memc_key $query_string;
>>          memc_pass 127.0.0.1:22222;
>>  }
>>
>> location ~ .*\.php$
>> {
>>          srcache_methods GET;
>>          srcache_response_cache_control off;
>>          if ($uri ~ /plugin/){
>>                  set $key $request_uri;
>>                  srcache_fetch GET /memc $key;
>>                  srcache_store PUT /memc $key;
>>                  srcache_max_expire 1d;
>>                  add_header X-Cached-Fetch $srcache_fetch_status;
>>                  add_header X-Cached-Store $srcache_store_status;
>>          }
>>         include fastcgi_params;
>>        include fastcgi.conf;
>> }
>
>你这里给出的例子不完整。我并不知道你发起的是什么样的请求，我也不知道你究竟看到了什么，以及具体是如何判断这里的行为有问题的。你应当提供能复现问题所需的具体步骤以及你看到的实际输出（或其他具体的现象），而不是很笼统的描述，这样可以节约我对你的配置和操作进行盲目猜测的时间和麻烦。
>
>另外，如我前面所说的，建议在你那里正确地启用 Nginx 调试日志，并提供问题请求所对应的所有的调试日志消息。
>
>Regards,
>-agentzh

vi nginx.conf
user  nobody nobody;
worker_processes 8;
error_log  /var/log/nginx1.4.log  debug;
pid        /var/run/nginx.pid;

worker_rlimit_nofile 51200;

events
{
       use epoll;
       worker_connections 51200;
}

http
{
       include       mime.types;
       default_type  application/octet-stream;

       log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                         '"$status" $body_bytes_sent "$http_referer" '
                         '"$http_user_agent" "$http_x_forwarded_for" '
                         '"$gzip_ratio" $request_time $bytes_sent $request_length [$upstream_response_time]';

       set_real_ip_from 10.0.0.0/8;
       real_ip_header X-Forwarded-For;

       sendfile on;
       server_tokens off;
       tcp_nopush     on;
       tcp_nodelay    on;
       keepalive_timeout 75 20;
       request_pool_size        4k;
       connection_pool_size        256;
       client_header_buffer_size    12k;
       large_client_header_buffers    4 12k;
       output_buffers   4 32k;
       postpone_output  1460;
       client_max_body_size       10m;
       client_body_buffer_size    256k;
       server_names_hash_bucket_size 128;
       proxy_ignore_client_abort on;
       client_header_timeout   36000;
       client_body_timeout     36000;
       send_timeout            36000;
       lingering_timeout       36000;

       gzip  on;
       gzip_min_length  1100;
       gzip_comp_level 2;
       gzip_buffers     4 8k;
       gzip_vary on;
       gzip_disable     "MSIE [1-6] \.";
       gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/vnd.syncml+xml;


       include          vhosts/test.conf;

}

vi vhosts/test.conf
upstream memcacheds {
        server 10.1.240.166:22222;
        keepalive 512;
}

server
       {
               listen       8080;
               server_name  121.207.240.42;
               index index.html index.htm index.php;
               root  /data/wwwroot/;

                location ~* \.(gif|jpg|jpeg|css|js|bmp|png)$ {
                        expires  max;
                }

                location /memc {
                        internal;
                        set $memc_key $query_string;
                        set $memc_exptime 120;
                        memc_pass memcacheds;
                }
 
               location ~ .*\.php$
               {
                        srcache_store_private on;
                        srcache_methods GET;
                        srcache_response_cache_control off;
                        if ($uri ~ /plugin/){
                                set $key $request_uri;
                                srcache_fetch GET /memc $key;
                                srcache_store PUT /memc $key;
                                srcache_max_expire 1d;
                                add_header X-Cached-From $srcache_fetch_status;
                                add_header X-Cached-Store $srcache_store_status;
                                add_header X-Key $key;
                                add_header X-Query_String $query_string;
                                add_header X-expire $srcache_expire;
                        }
                        include fastcgi_params;
                        fastcgi_pass  127.0.0.1:10080;
                        fastcgi_index index.php;
                        fastcgi_connect_timeout 60;
                        fastcgi_send_timeout 180;
                        fastcgi_read_timeout 180;
                        fastcgi_buffer_size 128k;
                        fastcgi_buffers 4 256k;
                        fastcgi_busy_buffers_size 256k;
                        fastcgi_temp_file_write_size 256k;
                        fastcgi_intercept_errors on;
                        fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;
                        fastcgi_split_path_info ^(.+\.php)(.*)$;
                        fastcgi_param PATH_INFO $fastcgi_path_info;
                        fastcgi_ignore_client_abort on;
               }


                location / {
                        if (!-e $request_filename) {
                                rewrite ^/(.*)$ /index.php/$1 last;
                        }
                        if (-d $request_filename){
                           rewrite ^/(.*)([^/])$ http://$host/$1$2/ permanent;
                        }
                }

              error_log  /data/httplogs/test-error.log;
              access_log  /data/httplogs/test-aceess.log main;

       }

Attachment: get_mem.jpg
Description: JPEG image

agentzh

Hello!

2013/8/25 徐鸿鹄:
> 抱歉
> nginx配置见附件 ngx_conf.txt
>

你的配置里面分明使用了 fastcgi，而且从你的请求看你使用了 PHP，但你从未提供你使用的 PHP
代码，你让我如何在我本地运行你的“最小化用例”呢？显然我的想象力还不足以得到你的 plugin/test/pp.php 的内容。

> 请求地址：http://121.207.240.42:8090/plugin/test/pp.php?path=group3__M00/9D/C5/Ch_3uVIQg6K2s81YAADRxNCekL8095.jpg
>

你敢提供 plugin/test/pp.php 的源码么？当然，我希望是经过你最小化处理后的样子。不要把很复杂的东西直接提供出来。

> 能分析原因吗？ 谢谢
>

分析这类问题最简单的方法就是查看 Nginx 的调试日志，我前面一直在重复这一点，但貌似你直接忽略了我前面那些回复？

最后我在这里再重复一遍：

如果你真的启用了 nginx 的调试日志的话，你必会在 nginx 的 error.log 里面看到大量的 [debug]
级别的日志信息，不仅 ngx_srcache 会输出调试信息，nginx 核心及几乎所有其他模块都会输出很多细节信息。请确认

1. 你在构造 nginx 或者 openresty 时向 ./configure 脚本传递了 --with-debug 选项；
2. 你在 nginx.conf 配置文件中给所有的 error_log 指令都配置了 debug 过滤级别，例如

    error_log logs/error.log debug;

见 http://wiki.nginx.org/CoreModule#error_log

Regards,
-agentzh

P.S. 我一直觉得我们之间的交流原本可以更有效率一些的。