回复： [openresty] lua如何来实现和php扩展memcache 的一致性hash一样的算法

xidianwlc_3006 · 2013-02-04T21:52:07+00:00

Hello! 2013/2/4 王利超: > > 我这边整理了一下debug到的log到附...

回复： [openresty] lua如何来实现和php扩展memcache 的一致性hash一样的算法

xidianwlc_3006

你的这个配置我试了一下，cache命中的时候还是走后端的fastcgi，是不是我的nginx版本有问题，或者是使用的srcache有问题?你是使用的哪个版本，如何编译的nginx模块的？

------------------ 原始邮件 ------------------

发件人: "Weibin Yao"<yaow...@gmail.com>;

发送时间: 2013年2月4日(星期一) 晚上9:11

收件人: "openresty"<openresty@googlegroups.com>;

主题: Re: [openresty] lua如何来实现和php扩展memcache 的一致性hash一样的算法

首先你需要使用我那个模块里面的for_php_memecached分支，不要使用master，切记：

git clone git://github.com/yaoweibin/ngx_http_consistent_hash.git
git checkout -b for_php_memcache origin/for_php_memcache

其次，你可以通过srcacache （https://github.com/agentzh/srcache-nginx-module）来实现存储和读取后端upstream的对象，memc模块（https://github.com/agentzh/memc-nginx-module）跟后端的memcached进行通信：

大致配置是这样的：

upstream my_memcached {
server 192.168.1.1:11211;
server 192.168.1.2:11211;

consistent_hash $request_uri;
keepalive 512; # this requires the ngx_http_upstream_keepalive module
}

location = /memc {
internal;

set $memc_key $request_uri;
set $memc_exptime 3600;
memc_pass my_memcached;
}

location / {
set $key $request_uri;
srcache_fetch GET /memc $key;
srcache_store PUT /memc $key;
srcache_store_statuses 200 301 302;

set $script $uri;
set $path_info "";

include /home/service/openresty/nginx/conf/fastcgi_params;
fastcgi_param SCRIPT_FILENAME /home/work/website/dolphin/app/scripts/follow/testCon.php;
fastcgi_param SCRIPT_NAME $script;
fastcgi_param REQUEST_URI $uri;
fastcgi_pass 127.0.0.1:9000;
}

On 2013-2-4 18:49, ad...@gmail.com wrote:

谢谢Weibin Yao 的回答。
请问下

https://github.com/yaoweibin/ngx_http_consistent_hash 这个能不能实现nginx层的一致性hash的set cache功能？具体怎样set，能不能给个例子啊？

另外，这个module如果和openresty同时使用会不会有问题，目前的设想是php端直接请求nginx write 然后content_by_lua_file cache/write.lua进行cache写入操作。lua好像不支持oo，直接用lua写个一致性hash实在是有些头疼，现在是想借用这个 module来实现和php memcache扩展相同的一致性hash，不知道这个想法可以实现不？

location / {

default_type text/html;

set $memcached_key $request_uri;

memcached_pass memcached_backend;

error_page 500 404 405 = @fallback;

}

location @fallback {

root /home/work/;

fastcgi_intercept_errors on;

error_page 404 = @404;

set $script $uri;

set $path_info "";

include /home/service/openresty/nginx/conf/fastcgi_params;

fastcgi_param SCRIPT_FILENAME /home/work/website/dolphin/app/scripts/follow/testCon.php;

fastcgi_param SCRIPT_NAME $script;

fastcgi_param REQUEST_URI $uri;

fastcgi_pass 127.0.0.1:9000;

}

#interfaces

location /write {

content_by_lua_file cache/write.lua;

}

在 2013年2月4日星期一UTC+8下午6时25分39秒，Weibin Yao写道：
memcached_pass只是去get，如果没有获取到，就跑到 fallback，由php去写入memcached。下次再访问同一个uri，memcached应该就有相应的对象了。

On 2013/2/4 16:15, adx...@gmail.com wrote:

我尝试用https://github.com/yaoweibin/ngx_http_consistent_hash 这个来实现上面的场景，但是按照ngx_http_upstream_consistent_hash这个配置，没有弄明白到底是在哪里set cache的，总是进入fallback里面由php 脚本来set了。这里是配置有问题还是理解错了，貌似 http://www.ostools.net/uploads/apidocs/nginx-zh /HttpUpstreamConsistentHash.htm讲的也不是很清楚，请各位指点一下，谢谢了～

配置在下面：

upstream memcached_backend {

consistent_hash $request_uri;

server 192.168.60.4:11222;

server 192.168.60.4:11211;

}

location / {

default_type text/html;

set $memcached_key $request_uri; ＃这一步似乎是set了memcache的key 但是值是怎么set的？

memcached_pass memcached_backend;

error_page 500 404 405 = @fallback;

}

location @fallback {

root /home/work/;

fastcgi_intercept_errors on;

error_page 404 = @404;

set $script $uri;

set $path_info "";

include /home/service/openresty/nginx/conf/fastcgi_params;

fastcgi_param SCRIPT_FILENAME /home/work/website/dolphin/app/scripts/follow/testCon.php;

fastcgi_param SCRIPT_NAME $script;

fastcgi_param REQUEST_URI $uri;

fastcgi_pass 127.0.0.1:9000;

}

php脚本$memcache = new Memcache;

$memcache->addServer('192.168.60.4', 11211);

$memcache->addServer('192.168.60.4', 11222);

$memcache->set($_SERVER["REQUEST_URI"], $_SERVER["REQUEST_URI"] . " from memcache");

--
sp 要查看更多选项，请访问 https://groups.google.com /groups/opt_out。
-- 
Thanks,
-Weibin Yao
--

---
您收到此邮件是因为您订阅了 Google 网上论坛的“openresty”论坛。
要退订此论坛并停止接收此论坛的电子邮件，请发送电子邮件到 openresty+unsubscribe@googlegroups.com。
要查看更多选项，请访问 https://groups.google.com/groups/opt_out。

yaoweibin

閿熸枻鎷烽敓鎻尅鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓?debug閿熸枻鎷峰織閿熺即锝忔嫹閿熸枻鎷穌ebug閿熸枻鎷峰織閿熶茎鍑ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷? 閿熸枻锛?a class="moz-txt-link-freetext" href="">http://tengine.taobao.org/nginx_docs/cn/docs/debugging_log.html

On 2013-2-4 21:52, 閿熸枻鎷烽敓鏂ゆ嫹 wrote:

閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹涓