回复：回复： [openresty] lua如何来实现和php扩展memcache 的一致性hash一样的算法

xidianwlc_3006

附件这个是部分的debug日志，过滤了一些无用信息。帮忙排查一下，谢谢

------------------ 原始邮件 ------------------

发件人: "Weibin Yao"<yaow...@gmail.com>;

发送时间: 2013年2月4日(星期一) 晚上9:55

收件人: "openresty"<openresty@googlegroups.com>;

主题: Re: 回复： [openresty] lua如何来实现和php扩展memcache 的一致性hash一样的算法

让我看看你的debug日志吧，打开debug日志的方法看这里：http://tengine.taobao.org/nginx_docs/cn/docs/debugging_log.html

On 2013-2-4 21:52, 王利超 wrote:

你的这个配置我试了一下，cache命中的时候还是走后端的 fastcgi，是不是我的nginx版本有问题，或者是使用的srcache有问题?你是使用的哪个版本，如何编译的 nginx模块的？
------------------ 原始邮件 ------------------

发件人: "Weibin Yao"<yaow...@gmail.com>;

发送时间: 2013年2月4日(星期一) 晚上9:11

收件人: "openresty"<openresty@googlegroups.com>;

主题: Re: [openresty] lua如何来实现和php扩展memcache 的一致性hash一样的算法

首先你需要使用我那个模块里面的for_php_memecached分支，不要使用master，切记：

git clone git://github.com/yaoweibin/ngx_http_consistent_hash.git
git checkout -b for_php_memcache origin/for_php_memcache

其次，你可以通过srcacache （https://github.com /agentzh/srcache-nginx-module）来实现存储和读取后端upstream的对象，memc模块（https://github.com /agentzh/memc-nginx-module）跟后端的memcached进行通信：

大致配置是这样的：

upstream my_memcached {
server 192.168.1.1:11211;
server 192.168.1.2:11211;

consistent_hash $request_uri;
keepalive 512; # this requires the ngx_http_upstream_keepalive module
}

location = /memc {
internal;

set $memc_key $request_uri;
set $memc_exptime 3600;
memc_pass my_memcached;
}

location / {
set $key $request_uri;
srcache_fetch GET /memc $key;
srcache_store PUT /memc $key;
srcache_store_statuses 200 301 302;

set $script $uri;
set $path_info "";

include /home/service/openresty/nginx/conf/fastcgi_params;
fastcgi_param SCRIPT_FILENAME /home/work/website/dolphin/app/scripts/follow/testCon.php;
fastcgi_param SCRIPT_NAME $script;
fastcgi_param REQUEST_URI $uri;
fastcgi_pass 127.0.0.1:9000;
}

On 2013-2-4 18:49, ad...@gmail.com wrote:
谢谢Weibin Yao 的回答。
请问下

https://github.com/yaoweibin/ngx_http_consistent_hash 这个能不能实现nginx层的一致性hash的set cache功能？具体怎样set，能不能给个例子啊？

另外，这个module如果和openresty同时使用会不会有问题，目前的设想是php端直接请求nginx write 然后content_by_lua_file cache/write.lua进行cache写入操作。lua好像不支持oo，直接用lua写个一致性hash实在是有些头疼，现在是想借用这个 module来实现和php memcache扩展相同的一致性hash，不知道这个想法可以实现不？

location / {

default_type text/html;

set $memcached_key $request_uri;

memcached_pass memcached_backend;

error_page 500 404 405 = @fallback;

}

location @fallback {

root /home/work/;

fastcgi_intercept_errors on;

error_page 404 = @404;

set $script $uri;

set $path_info "";

include /home/service/openresty/nginx/conf/fastcgi_params;

fastcgi_param SCRIPT_FILENAME /home/work/website/dolphin/app/scripts/follow/testCon.php;

fastcgi_param SCRIPT_NAME $script;

fastcgi_param REQUEST_URI $uri;

fastcgi_pass 127.0.0.1:9000;

}

#interfaces

location /write {

content_by_lua_file cache/write.lua;

}

在 2013年2月4日星期一UTC+8下午6时25分39秒，Weibin Yao写道：
memcached_pass只是去get，如果没有获取到，就跑到 fallback，由php去写入memcached。下次再访问同一个uri，memcached 应该就有相应的对象了。

On 2013/2/4 16:15, adx...@gmail.com wrote:

我尝试用https://github.com/yaoweibin/ngx_http_consistent_hash 这个来实现上面的场景，但是按照ngx_http_upstream_consistent_hash 这个配置，没有弄明白到底是在哪里set cache的，总是进入fallback 里面由php 脚本来set了。这里是配置有问题还是理解错了，貌似 http://www.ostools.net/uploads/apidocs/nginx-zh /HttpUpstreamConsistentHash.htm讲的也不是很清楚，请各位指点一下，谢谢了～

配置在下面：

upstream memcached_backend {

consistent_hash $request_uri;

server 192.168.60.4:11222;

server 192.168.60.4:11211;

}

location / {

default_type text/html;

set $memcached_key $request_uri; ＃这一步似乎是set了memcache的key 但是值是怎么set的？

memcached_pass memcached_backend;

error_page 500 404 405 = @fallback;

}

location @fallback {

root /home/work/;

fastcgi_intercept_errors on;

error_page 404 = @404;

set $script $uri;

set $path_info "";

include /home/service/openresty/nginx/conf/fastcgi_params;

fastcgi_param SCRIPT_FILENAME /home/work/website/dolphin/app/scripts/follow/testCon.php;

fastcgi_param SCRIPT_NAME $script;

fastcgi_param REQUEST_URI $uri;

fastcgi_pass 127.0.0.1:9000;

}

php脚本$memcache = new Memcache;

$memcache->addServer('192.168.60.4', 11211);

$memcache->addServer('192.168.60.4', 11222);

$memcache->set($_SERVER["REQUEST_URI"], $_SERVER["REQUEST_URI"] . " from memcache");

--
sp 要查看更多选项，请访问 https://groups.google.com /groups/opt_out。
-- 
Thanks,
-Weibin Yao
--

---
您收到此邮件是因为您订阅了 Google 网上论坛的“openresty”论坛。
要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到 openresty+unsubscribe@googlegroups.com。
要查看更多选项，请访问 https://groups.google.com/groups/opt_out。
Attachment: debug.log
Description: Binary data
yaoweibin

memcache模块用这个：https://github.com /agentzh/memc-nginx-module/blob/master/src/ngx_http_memc_handler.c

不要用官方的，官方那个只能读，不能写。

On 2013-2-4 22:00, 王利超 wrote:

附件这个是部分的debug日志，过滤了一些无用信息。帮忙排查一下，谢谢

------------------ 原始邮件 ------------------

发件人: "Weibin Yao"<yaow...@gmail.com>;

发送时间: 2013年2月4日(星期一) 晚上9:55

收件人: "openresty"<openresty@googlegroups.com>;

主题: Re: 回复： [openresty] lua如何来实现和php扩展memcache 的一致性hash一样的算法

让我看看你的debug日志吧，打开debug日志的方法看这里：http://tengine.taobao.org/nginx_docs/cn/docs/debugging_log.html

On 2013-2-4 21:52, 王利超 wrote:

你的这个配置我试了一下，cache命中的时候还是走后端的 fastcgi，是不是我的nginx版本有问题，或者是使用的srcache有问题?你是使用的哪个版本，如何编译的 nginx模块的？

------------------ 原始邮件 ------------------

发件人: "Weibin Yao"<yaow...@gmail.com>;

发送时间: 2013年2月4日(星期一) 晚上9:11

收件人: "openresty"<openresty@googlegroups.com>;

主题: Re: [openresty] lua如何来实现和php扩展memcache 的一致性hash一样的算法

首先你需要使用我那个模块里面的 for_php_memecached分支，不要使用master，切记：

git clone git://github.com/yaoweibin/ngx_http_consistent_hash.git
git checkout -b for_php_memcache origin/for_php_memcache

其次，你可以通过srcacache （https://github.com /agentzh/srcache-nginx-module）来实现存储和读取后端upstream的对象，memc模块（https://github.com /agentzh/memc-nginx-module）跟后端的memcached进行通信：

大致配置是这样的：

upstream my_memcached {
server 192.168.1.1:11211;
server 192.168.1.2:11211;

consistent_hash $request_uri;
keepalive 512; # this requires the ngx_http_upstream_keepalive module
}

location = /memc {
internal;

set $memc_key $request_uri;
set $memc_exptime 3600;
memc_pass my_memcached;
}

location / {
set $key $request_uri;
srcache_fetch GET /memc $key;
srcache_store PUT /memc $key;
srcache_store_statuses 200 301 302;

set $script $uri;
set $path_info "";

include /home/service/openresty/nginx/conf/fastcgi_params;
fastcgi_param SCRIPT_FILENAME /home/work/website/dolphin/app/scripts/follow/testCon.php;
fastcgi_param SCRIPT_NAME $script;
fastcgi_param REQUEST_URI $uri;
fastcgi_pass 127.0.0.1:9000;
}

On 2013-2-4 18:49, ad...@gmail.com wrote:

谢谢Weibin Yao 的回答。

请问下

https://github.com/yaoweibin/ngx_http_consistent_hash 这个能不能实现nginx层的一致性hash的set cache功能？具体怎样set，能不能给个例子啊？

另外，这个module如果和openresty同时使用会不会有问题，目前的设想是php端直接请求nginx write 然后content_by_lua_file cache/write.lua进行cache写入操作。lua好像不支持oo，直接用lua写个一致性hash实在是有些头疼，现在是想借用这个 module来实现和php memcache扩展相同的一致性hash，不知道这个想法可以实现不？

location / {

default_type text/html;

set $memcached_key $request_uri;

memcached_pass memcached_backend;

error_page 500 404 405 = @fallback;

}

location @fallback {

root /home/work/;

fastcgi_intercept_errors on;

error_page 404 = @404;

set $script $uri;

set $path_info "";

include /home/service/openresty/nginx/conf/fastcgi_params;

fastcgi_param SCRIPT_FILENAME /home/work/website/dolphin/app/scripts/follow/testCon.php;

fastcgi_param SCRIPT_NAME $script;

fastcgi_param REQUEST_URI $uri;

fastcgi_pass 127.0.0.1:9000;

}

#interfaces

location /write {

content_by_lua_file cache/write.lua;

}

在 2013年2月4日星期一UTC+8下午6时25分39秒，Weibin Yao写道：

memcached_pass只是去get，如果没有获取到，就跑到 fallback，由php去写入memcached。下次再访问同一个uri，memcached 应该就有相应的对象了。

On 2013/2/4 16:15, adx...@gmail.com wrote:

我尝试用https://github.com/yaoweibin/ngx_http_consistent_hash 这个来实现上面的场景，但是按照ngx_http_upstream_consistent_hash 这个配置，没有弄明白到底是在哪里set cache的，总是进入 fallback 里面由php 脚本来set了。这里是配置有问题还是理解错了，貌似 http://www.ostools.net/uploads/apidocs/nginx-zh /HttpUpstreamConsistentHash.htm讲的也不是很清楚，请各位指点一下，谢谢了～

配置在下面：

upstream memcached_backend {

consistent_hash $request_uri;

server 192.168.60.4:11222;

server 192.168.60.4:11211;

}

location / {

default_type text/html;

set $memcached_key $request_uri; ＃这一步似乎是set了memcache的key 但是值是怎么set的？

memcached_pass memcached_backend;

error_page 500 404 405 = @fallback;

}

location @fallback {

root /home/work/;

fastcgi_intercept_errors on;

error_page 404 = @404;

set $script $uri;

set $path_info "";

include /home/service/openresty/nginx/conf/fastcgi_params;

fastcgi_param SCRIPT_FILENAME /home/work/website/dolphin/app/scripts/follow/testCon.php;

fastcgi_param SCRIPT_NAME $script;

fastcgi_param REQUEST_URI $uri;

fastcgi_pass 127.0.0.1:9000;

}

php脚本$memcache = new Memcache;

$memcache->addServer('192.168.60.4', 11211);

$memcache->addServer('192.168.60.4', 11222);

$memcache->set($_SERVER["REQUEST_URI"], $_SERVER["REQUEST_URI"] . " from memcache");

--
#xA0 要查看更多选项，请访问 https://groups.google.com /groups/opt_out。

-- Thanks, -Weibin Yao