openresty 中proxy_cache 模块缓存超过最大值后不自动清理

hsiung2007 · 2012-09-10T18:17:07+00:00

Hello! 2012/9/10 steven su: > 1. 你的 nginx 错误日志里面是否有大量错&...

openresty 中proxy_cache 模块缓存超过最大值后不自动清理

hsiung2007

hi all，

近期在使用openresty的proxy_cache功能后，缓存文件超过了设置的最大值后不自动清理。

cache manager process 出现了假死现象，将所有nginx进程杀死后重启nginx，cache功能又正常了。

提供同样服务，并采用同样配置的机器有3台，另外两台没有问题，这台就出现了问题。

proxy_cache部分的简单配置如下：

proxy_temp_path /dev/shm/comment_nginx_cache_tmp;

proxy_cache_path /dev/shm/comment_nginx_cache levels=1:2 keys_zone=comment_cache:256m inactive=1d max_size=3G;

编译参数如下：

./nginx -V

nginx version: ngx_openresty/1.2.1.14

built by gcc 4.4.5 (Debian 4.4.5-8)

TLS SNI support enabled

configure arguments: --prefix=/home/servers/openresty-1.2.1.14/nginx --with-cc-opt='-I /usr/include/openssl -I /usr/include/pcre' --add-module=../ngx_devel_kit-0.2.17 --add-module=../echo-nginx-module-0.41 --add-module=../xss-nginx-module-0.03rc9 --add-module=../ngx_coolkit-0.2rc1 --add-module=../set-misc-nginx-module-0.22rc8 --add-module=../form-input-nginx-module-0.07rc5 --add-module=../encrypted-session-nginx-module-0.02 --add-module=../ngx_lua-0.5.14 --add-module=../headers-more-nginx-module-0.18 --add-module=../srcache-nginx-module-0.14 --add-module=../array-var-nginx-module-0.03rc1 --add-module=../memc-nginx-module-0.13rc3 --add-module=../redis2-nginx-module-0.08rc4 --add-module=../redis-nginx-module-0.3.6 --add-module=../auth-request-nginx-module-0.2 --add-module=../rds-json-nginx-module-0.12rc10 --add-module=../rds-csv-nginx-module-0.05rc2 --with-ld-opt=-Wl,-rpath,/home/servers/openresty-1.2.1.14/luajit/lib --with-http_ssl_module --with-http_realip_module --with-http_stub_status_module --with-http_sub_module --with-http_flv_module --add-module=/home/download/ngx_cache_purge/ngx_cache_purge-1.6

smallfish.xy

这个是标准 Nginx 里面的东西~另外清除的是需要依赖其他第三方模块：ngx_cache_purge

blog: http://chenxiaoyu.org

2012/9/10 Peter Hsiung <hsiu...@gmail.com>

hi all，

近期在使用openresty的proxy_cache功能后，缓存文件超过了设置的最大值后不自动清理。
cache manager process 出现了假死现象，将所有nginx进程杀死后重启nginx，cache功能又正常了。
提供同样服务，并采用同样配置的机器有3台，另外两台没有问题，这台就出现了问题。

proxy_cache部分的简单配置如下：
proxy_temp_path /dev/shm/comment_nginx_cache_tmp;
proxy_cache_path /dev/shm/comment_nginx_cache levels=1:2 keys_zone=comment_cache:256m inactive=1d max_size=3G;

编译参数如下：
./nginx -V
nginx version: ngx_openresty/1.2.1.14
built by gcc 4.4.5 (Debian 4.4.5-8)
TLS SNI support enabled
configure arguments: --prefix=/home/servers/openresty-1.2.1.14/nginx --with-cc-opt='-I /usr/include/openssl -I /usr/include/pcre' --add-module=../ngx_devel_kit-0.2.17 --add-module=../echo-nginx-module-0.41 --add-module=../xss-nginx-module-0.03rc9 --add-module=../ngx_coolkit-0.2rc1 --add-module=../set-misc-nginx-module-0.22rc8 --add-module=../form-input-nginx-module-0.07rc5 --add-module=../encrypted-session-nginx-module-0.02 --add-module=../ngx_lua-0.5.14 --add-module=../headers-more-nginx-module-0.18 --add-module=../srcache-nginx-module-0.14 --add-module=../array-var-nginx-module-0.03rc1 --add-module=../memc-nginx-module-0.13rc3 --add-module=../redis2-nginx-module-0.08rc4 --add-module=../redis-nginx-module-0.3.6 --add-module=../auth-request-nginx-module-0.2 --add-module=../rds-json-nginx-module-0.12rc10 --add-module=../rds-csv-nginx-module-0.05rc2 --with-ld-opt=-Wl,-rpath,/home/servers/openresty-1.2.1.14/luajit/lib --with-http_ssl_module --with-http_realip_module --with-http_stub_status_module --with-http_sub_module --with-http_flv_module --add-module=/home/download/ngx_cache_purge/ngx_cache_purge-1.6

agentzh

Hello!

2012/9/10 Peter Hsiung <hsiu...@gmail.com>:
>        近期在使用openresty的proxy_cache功能后，缓存文件超过了设置的最大值后不自动清理。

OpenResty 并没有对 proxy_cache 部分作过任何改动 :)

>        cache manager process 出现了假死现象，将所有nginx进程杀死后重启nginx，cache功能又正常了。

你能使用 pstack 和 strace 这样的工具获取那个异常进程正在执行的系统调用以及调用栈信息么？

Best regards,
-agentzh

cyberty

貌似这个是nginx的问题,跟openresty无关.

我这边也一直在用proxy_cache,缓存文件也一直存在这个问题,会超过最大值.

如果nginx启动的时候proxy_cache_path是空的,那nginx会自动清理cache内容,控制着不超过最大值.

但是proxy_cache_path不为空的情况下,nginx重启过,后面用着用着就超最大值了..

目前我只能采用外部监控磁盘空间, 超过阈值就清空并重启nginx的方法来绕过了.

不知道其他人有没有类似的经验?

在 2012年9月10日星期一UTC+8下午6时17分07秒，Peter Hsiung写道：

hi all，

近期在使用openresty的proxy_cache功能后，缓存文件超过了设置的最大值后不自动清理。
cache manager process 出现了假死现象，将所有nginx进程杀死后重启nginx，cache功能又正常了。
提供同样服务，并采用同样配置的机器有3台，另外两台没有问题，这台就出现了问题。

proxy_cache部分的简单配置如下：
proxy_temp_path /dev/shm/comment_nginx_cache_tmp;
proxy_cache_path /dev/shm/comment_nginx_cache levels=1:2 keys_zone=comment_cache:256m inactive=1d max_size=3G;

编译参数如下：
./nginx -V
nginx version: ngx_openresty/1.2.1.14
built by gcc 4.4.5 (Debian 4.4.5-8)
TLS SNI support enabled
configure arguments: --prefix=/home/servers/openresty-1.2.1.14/nginx --with-cc-opt='-I /usr/include/openssl -I /usr/include/pcre' --add-module=../ngx_devel_kit-0.2.17 --add-module=../echo-nginx-module-0.41 --add-module=../xss-nginx-module-0.03rc9 --add-module=../ngx_coolkit-0.2rc1 --add-module=../set-misc-nginx-module-0.22rc8 --add-module=../form-input-nginx-module-0.07rc5 --add-module=../encrypted-session-nginx-module-0.02 --add-module=../ngx_lua-0.5.14 --add-module=../headers-more-nginx-module-0.18 --add-module=../srcache-nginx-module-0.14 --add-module=../array-var-nginx-module-0.03rc1 --add-module=../memc-nginx-module-0.13rc3 --add-module=../redis2-nginx-module-0.08rc4 --add-module=../redis-nginx-module-0.3.6 --add-module=../auth-request-nginx-module-0.2 --add-module=../rds-json-nginx-module-0.12rc10 --add-module=../rds-csv-nginx-module-0.05rc2 --with-ld-opt=-Wl,-rpath,/home/servers/openresty-1.2.1.14/luajit/lib --with-http_ssl_module --with-http_realip_module --with-http_stub_status_module --with-http_sub_module --with-http_flv_module --add-module=/home/download/ngx_cache_purge/ngx_cache_purge-1.6

hsiung2007

系统出现问题后，我上服务器上简单strace一下，将正常的和有问题的cache manager process都做了strace，

操作命令如下：

strace -ff -o cache -p pid

正常的服务器上得到的信息如下：

gettimeofday({1347356372, 471135}, NULL) = 0

epoll_wait(28, {}, 512, 10000) = 0

gettimeofday({1347356382, 470753}, NULL) = 0

epoll_wait(28, {}, 512, 1) = 0

gettimeofday({1347356382, 476181}, NULL) = 0

unlink("/dev/shm/comment_nginx_cache/1/fd/e63eafbf0f077418843be328f8db6fd1") = 0

unlink("/dev/shm/comment_nginx_cache/e/c8/8de0dc35e5d51e7c4f5aaebb79494c8e") = 0

不正常的服务器得到的信息只有 epoll_wait 和 gettimeofday两种。然后，不正常服务器 cache manager process 占用内存为0 表明没有任何操作，而正常服务器的cache manager process 占用内存一直维持在 0.4% 左右。

估计下次还会出现类似的问题，我再做详细的分析和跟踪吧。

On Tuesday, September 11, 2012 3:22:12 AM UTC+8, agentzh wrote:

Hello!
2012/9/10 Peter Hsiung <hsiun...@gmail.com>:
> 近期在使用openresty的proxy_cache功能后，缓存文件超过了设置的最大值后不自动清理。
OpenResty 并没有对 proxy_cache 部分作过任何改动 :)
> cache manager process 出现了假死现象，将所有nginx进程杀死后重启nginx，cache功能又正常了。
你能使用 pstack 和 strace 这样的工具获取那个异常进程正在执行的系统调用以及调用栈信息么？
Best regards,
-agentzh

hsiung2007

社区上有人碰到过类似的问题，他们可以在error.log中找到明显的segment fault，但是我这种情况error.log 中更本没有信息，比较怪异。

你也strace一下，看看是否能够找到根源，最好能够找到原因，根除就最好了。

On Tuesday, September 11, 2012 2:40:35 PM UTC+8, cyberty tan wrote:

貌似这个是nginx的问题,跟openresty无关.
我这边也一直在用proxy_cache,缓存文件也一直存在这个问题,会超过最大值.

如果nginx启动的时候proxy_cache_path是空的,那nginx会自动清理cache内容,控制着不超过最大值.
但是proxy_cache_path不为空的情况下,nginx重启过,后面用着用着就超最大值了..
目前我只能采用外部监控磁盘空间, 超过阈值就清空并重启nginx的方法来绕过了.

不知道其他人有没有类似的经验?

在 2012年9月10日星期一UTC+8下午6时17分07秒，Peter Hsiung写道：
hi all，

近期在使用openresty的proxy_cache功能后，缓存文件超过了设置的最大值后不自动清理。
cache manager process 出现了假死现象，将所有nginx进程杀死后重启nginx，cache功能又正常了。
提供同样服务，并采用同样配置的机器有3台，另外两台没有问题，这台就出现了问题。

proxy_cache部分的简单配置如下：
proxy_temp_path /dev/shm/comment_nginx_cache_tmp;
proxy_cache_path /dev/shm/comment_nginx_cache levels=1:2 keys_zone=comment_cache:256m inactive=1d max_size=3G;

编译参数如下：
./nginx -V
nginx version: ngx_openresty/1.2.1.14
built by gcc 4.4.5 (Debian 4.4.5-8)
TLS SNI support enabled
configure arguments: --prefix=/home/servers/openresty-1.2.1.14/nginx --with-cc-opt='-I /usr/include/openssl -I /usr/include/pcre' --add-module=../ngx_devel_kit-0.2.17 --add-module=../echo-nginx-module-0.41 --add-module=../xss-nginx-module-0.03rc9 --add-module=../ngx_coolkit-0.2rc1 --add-module=../set-misc-nginx-module-0.22rc8 --add-module=../form-input-nginx-module-0.07rc5 --add-module=../encrypted-session-nginx-module-0.02 --add-module=../ngx_lua-0.5.14 --add-module=../headers-more-nginx-module-0.18 --add-module=../srcache-nginx-module-0.14 --add-module=../array-var-nginx-module-0.03rc1 --add-module=../memc-nginx-module-0.13rc3 --add-module=../redis2-nginx-module-0.08rc4 --add-module=../redis-nginx-module-0.3.6 --add-module=../auth-request-nginx-module-0.2 --add-module=../rds-json-nginx-module-0.12rc10 --add-module=../rds-csv-nginx-module-0.05rc2 --with-ld-opt=-Wl,-rpath,/home/servers/openresty-1.2.1.14/luajit/lib --with-http_ssl_module --with-http_realip_module --with-http_stub_status_module --with-http_sub_module --with-http_flv_module --add-module=/home/download/ngx_cache_purge/ngx_cache_purge-1.6