lua获取request_body再通过redis set，以下写法准确吗？

billfzhu · 2012-10-23T21:58:38+00:00

为啥不用redis之类的作为缓存呢？ On 10月23日, 下午9&#x6...

lua获取request_body再通过redis set，以下写法准确吗？

billfzhu

原配置写法通过agentzh指点后自己又修改了，不知准确否，发出来大家看看：
https://github.com/agentzh/lua-resty-redis/issues/10

location /from_proxy {
    proxy_pass http://backend;
}

location /to_redis {
    default_type text/html;
    set $key $url;
    set $exptime 300;
    content_by_lua '

        local res = ngx.location.capture("/from_proxy", {
            method = ngx.HTTP_GET,
            body = ngx.req.get_body_data()})

        local redis = require "resty.redis"
        local red = redis:new()

        red:set_timeout(1000)

        local ok, err = red:connect("127.0.0.1", 6379)
        if not ok then
            return nil
        end

        local ok, err = red:set(ngx.var.key,ngx.var.res.body,ngx.var.exptime)
        if not ok then
            return nil
        end

        red:close()
    ';
}

kindy61

啊，看到这个代码，《唐伯虎点秋香》里面那个喷血的场面立即浮现脑海。

各种如下:

1. capture 里面，如果是 GET 请求，那么传入 body 是无效的。

2. ngx.req.get_body_data 未必有结果，详见邮件组之前的讨论。

3. ngx.var.XXX 是为了存取 nginx 相关的变量，lua 内的变量，直接写就可以了，比如 res,

以上。

望有帮助。

On Tue, Oct 23, 2012 at 9:58 PM, Bill Zhu <bil...@gmail.com> wrote:

原配置写法通过agentzh指点后自己又修改了，不知准确否，发出来大家看看：
https://github.com/agentzh/lua-resty-redis/issues/10

location /from_proxy {
    proxy_pass http://backend;
}

location /to_redis {
    default_type text/html;
    set $key $url;
    set $exptime 300;
    content_by_lua '

        local res = ngx.location.capture("/from_proxy", {
            method = ngx.HTTP_GET,
            body = ngx.req.get_body_data()})

        local redis = require "resty.redis"
        local red = redis:new()

        red:set_timeout(1000)

        local ok, err = red:connect("127.0.0.1", 6379)
        if not ok then
            return nil
        end

        local ok, err = red:set(ngx.var.key,ngx.var.res.body,ngx.var.exptime)
        if not ok then
            return nil
        end

        red:close()
    ';
}

--
- - - - - - - - - - - -
林青(Kindy Lin)

billfzhu

On Tuesday, October 23, 2012 10:07:48 PM UTC+8, kindy wrote:

啊，看到这个代码，《唐伯虎点秋香》里面那个喷血的场面立即浮现脑海。
各种如下:

1. capture 里面，如果是 GET 请求，那么传入 body 是无效的。
2. ngx.req.get_body_data 未必有结果，详见邮件组之前的讨论。
3. ngx.var.XXX 是为了存取 nginx 相关的变量，lua 内的变量，直接写就可以了，比如 res,

以上。
望有帮助。
--
- - - - - - - - - - - -
林青(Kindy Lin)

Kindy有点打击人哦，不过以前没写过除bash shell以外的代码，ngx.lua案例实在太少了，能写这样自我感觉也不错了
继续请教：

>1. capture 里面，如果是 GET 请求，那么传入 body 是无效的。
是否修改成 method = ngx.HTTP_GET ，或者有其他触发请求体读取操作？

>2. ngx.req.get_body_data 未必有结果，详见邮件组之前的讨论。
这个我得翻帖子看了

3. ngx.var.XXX 是为了存取 nginx 相关的变量，lua 内的变量，直接写就可以了，比如 res,
改成 red:set(key,res.body,exptime) ？总感觉不对啊

billfzhu

On Tuesday, October 23, 2012 10:07:48 PM UTC+8, kindy wrote:

啊，看到这个代码，《唐伯虎点秋香》里面那个喷血的场面立即浮现脑海。
各种如下:

1. capture 里面，如果是 GET 请求，那么传入 body 是无效的。
2. ngx.req.get_body_data 未必有结果，详见邮件组之前的讨论。
3. ngx.var.XXX 是为了存取 nginx 相关的变量，lua 内的变量，直接写就可以了，比如 res,

以上。
望有帮助。
--
- - - - - - - - - - - -
林青(Kindy Lin)

经过指导后修改如下：

location /from_proxy {
    proxy_pass http://backend;
}

location /to_redis {
    default_type text/html;
    set $key $url;
    set $exptime 300;
    content_by_lua '

        local res =
            ngx.location.capture("/from_proxy", { method = ngx.HTTP_POST })
        if res.status == ngx.HTTP_OK then
            local body = res.body

            local redis = require "resty.redis"
            local red = redis:new()

            red:set_timeout(1000)

            local ok, err = red:connect("127.0.0.1", 6379)
            if not ok then
                return nil
            end

            local ok, err = red:set(ngx.var.key,body,ngx.var.exptime)
            if not ok then
                return nil
            end

            red:close()
        end
    ';
}

不知还有错误否？

kindy61

proxy 的 backend 是处理什么逻辑呢？是否需要获取从浏览器POST过来的数据呢？

还是有自己的逻辑，会直接返回数据。

如果不必处理浏览器POST过来的数据，那个 method 用 GET 就可以了。

其他地方貌似没问题。

抱歉之前说说话奇怪了。

2012/10/23 Bill Zhu <bil...@gmail.com>

经过指导后修改如下：

location /from_proxy {
    proxy_pass http://backend;
}

location /to_redis {
    default_type text/html;
    set $key $url;
    set $exptime 300;
    content_by_lua '

        local res =
            ngx.location.capture("/from_proxy", { method = ngx.HTTP_POST })
        if res.status == ngx.HTTP_OK then
            local body = res.body

            local redis = require "resty.redis"
            local red = redis:new()

            red:set_timeout(1000)

            local ok, err = red:connect("127.0.0.1", 6379)
            if not ok then
                return nil
            end

            local ok, err = red:set(ngx.var.key,body,ngx.var.exptime)

            if not ok then
                return nil
            end

            red:close()
        end
    ';
}

不知还有错误否？

--
- - - - - - - - - - - -
林青(Kindy Lin)

agentzh

Hello!

On Tue, Oct 23, 2012 at 6:58 AM, Bill Zhu wrote:
>
>
> 原配置写法通过agentzh指点后自己又修改了，不知准确否，发出来大家看看：
> https://github.com/agentzh/lua-resty-redis/issues/10
>

应当总是首先在 Lua 里面显式调用 ngx.req.read_body() 来触发请求体的读取。和 $echo_request_body
变量类似，使用 ngx.req.get_body_data() 或者 ngx.req.get_body_file()
也不会自动触发请求体的读取。

建议仔细阅读这些 API 的官方文档：

    http://wiki.nginx.org/HttpLuaModule

这样可以节约大量试错的时间。很抱歉我没有力量同时维护中文版的官方文档，所以如果英语阅读有障碍的话，可以使用 Google Translate 这样的翻译服务。

另外，如果你想对 ngx_proxy 的响应作 redis 缓存的话，可以考虑直接换用 ngx_srcache 模块：

    http://wiki.nginx.org/HttpSRCacheModule

特别地，结合使用 ngx_redis 和 ngx_redis2 模块，这里有详细步骤：

    http://wiki.nginx.org/HttpSRCacheModule#Caching_with_Redis

Best regards,
-agentzh

billfzhu

On Wednesday, October 24, 2012 1:22:08 AM UTC+8, kindy wrote:

proxy 的 backend 是处理什么逻辑呢？是否需要获取从浏览器POST过来的数据呢？
还是有自己的逻辑，会直接返回数据。
如果不必处理浏览器POST过来的数据，那个 method 用 GET 就可以了。

其他地方貌似没问题。

抱歉之前说说话奇怪了。

--
- - - - - - - - - - - -
林青(Kindy Lin)

>proxy 的 backend 是处理什么逻辑呢？
就是被反代的其他网址

>是否需要获取从浏览器POST过来的数据呢？还是有自己的逻辑，会直接返回数据。
目的是要获取后端数据存入redis

>抱歉之前说说话奇怪了。
没关系了

billfzhu

On Wednesday, October 24, 2012 1:45:37 AM UTC+8, agentzh wrote:

Hello!
On Tue, Oct 23, 2012 at 6:58 AM, Bill Zhu wrote:
>
>
> 原配置写法通过agentzh指点后自己又修改了，不知准确否，发出来大家看看：
> https://github.com/agentzh/lua-resty-redis/issues/10
>
应当总是首先在 Lua 里面显式调用 ngx.req.read_body() 来触发请求体的读取。和 $echo_request_body
变量类似，使用 ngx.req.get_body_data() 或者 ngx.req.get_body_file()
也不会自动触发请求体的读取。
建议仔细阅读这些 API 的官方文档：
http://wiki.nginx.org/HttpLuaModule
这样可以节约大量试错的时间。很抱歉我没有力量同时维护中文版的官方文档，所以如果英语阅读有障碍的话，可以使用 Google Translate 这样的翻译服务。
另外，如果你想对 ngx_proxy 的响应作 redis 缓存的话，可以考虑直接换用 ngx_srcache 模块：
http://wiki.nginx.org/HttpSRCacheModule
特别地，结合使用 ngx_redis 和 ngx_redis2 模块，这里有详细步骤：
http://wiki.nginx.org/HttpSRCacheModule#Caching_with_Redis
Best regards,
-agentzh

我可以看懂英文的，也会继续去看文档的，只是希望看到更多的实例。

至于 ngx_redis 和 ngx_redis2 模块我已经大概掌握了用法，我还写了篇小博文的：
http://lazyzhu.com/Nginx/LNMP-compile-nginx-redis-module-to-build-redis-cache.html

但帖子的应用中已有 ngx_proxy ，需另外利用ngx.lua，详情：
https://github.com/agentzh/srcache-nginx-module/issues/16

billfzhu

感觉好像我没说清楚, 其实就是用 ngx.lua 写一个http://wiki.nginx.org/HttpSRCacheModule#Caching_with_Redis 中的 srcache_store，
原因是srcache_fetch在命中时就不会执行

 proxy_pass 获取后端最新页面内容了。

agentzh

Hello!

On Tue, Oct 23, 2012 at 6:11 PM, Bill Zhu wrote:
> 感觉好像我没说清楚, 其实就是用 ngx.lua
> 写一个http://wiki.nginx.org/HttpSRCacheModule#Caching_with_Redis 中的
> srcache_store，
> 原因是srcache_fetch在命中时就不会执行 proxy_pass 获取后端最新页面内容了。
>

你只需要配置 srcache_store 而不配置 srcache_fetch 就可以达到你的 Lua 脚本的效果。

Regards,
-agentzh

billfzhu

On Wednesday, October 24, 2012 11:07:33 AM UTC+8, agentzh wrote:

Hello!
On Tue, Oct 23, 2012 at 6:11 PM, Bill Zhu wrote:
> 感觉好像我没说清楚, 其实就是用 ngx.lua
> 写一个http://wiki.nginx.org/HttpSRCacheModule#Caching_with_Redis 中的
> srcache_store，
> 原因是srcache_fetch在命中时就不会执行 proxy_pass 获取后端最新页面内容了。
>
你只需要配置 srcache_store 而不配置 srcache_fetch 就可以达到你的 Lua 脚本的效果。
Regards,
-agentzh

谢谢建议，但是 srcache_fetch 必须要配置的，所以只能用Lua 脚本来实现了。

billfzhu

网上有篇文章很不错，里面对 ngx.location.capture 的介绍很详细，但看到他都没用到 ngx.req.read_body() 也可以获得其他 location 返回的数据。
看来我还没理解 ngx.req.read_body() ，继续看手册去。

billfzhu

On Wednesday, October 24, 2012 11:07:33 AM UTC+8, agentzh wrote:

Hello!
On Tue, Oct 23, 2012 at 6:11 PM, Bill Zhu wrote:
> 感觉好像我没说清楚, 其实就是用 ngx.lua
> 写一个http://wiki.nginx.org/HttpSRCacheModule#Caching_with_Redis 中的
> srcache_store，
> 原因是srcache_fetch在命中时就不会执行 proxy_pass 获取后端最新页面内容了。
>
你只需要配置 srcache_store 而不配置 srcache_fetch 就可以达到你的 Lua 脚本的效果。
Regards,
-agentzh

有什么方法来触发新的 location，然后在新的 location按你的方法配置就可以了。

agentzh

Hello!

2012/10/23 Bill Zhu:
>
> 网上有篇文章很不错，里面对 ngx.location.capture 的介绍很详细，但看到他都没用到 ngx.req.read_body()
> 也可以获得其他 location 返回的数据。
> 看来我还没理解 ngx.req.read_body() ，继续看手册去。
>

貌似你把请求体（request body）和响应体（response body）给搞混了。

ngx.req.read_body() 是用于从 TCP 连接上读取*请求体*的，而你说的 ngx.location.capture()
返回的数据其实是*响应体*（以及*响应头*数据）。

如果你需要访问请求体数据，就必须采取以下三种做法之一：

1. 在 Lua 中调用 ngx.req.read_body()，
2. 在 nginx.conf 中配置 lua_need_request_body on（但此做法已不再推荐），或者
3. 在 Lua 中使用 ngx.req.socket().

Regards,
-agentzh

billfzhu

2012/10/25 agentzh <age...@gmail.com>

Hello!

2012/10/23 Bill Zhu:
>
> 网上有篇文章很不错，里面对 ngx.location.capture 的介绍很详细，但看到他都没用到 ngx.req.read_body()
> 也可以获得其他 location 返回的数据。
> 看来我还没理解 ngx.req.read_body() ，继续看手册去。
>

貌似你把请求体（request body）和响应体（response body）给搞混了。

ngx.req.read_body() 是用于从 TCP 连接上读取*请求体*的，而你说的 ngx.location.capture()
返回的数据其实是*响应体*（以及*响应头*数据）。

如果你需要访问请求体数据，就必须采取以下三种做法之一：

1. 在 Lua 中调用 ngx.req.read_body()，
2. 在 nginx.conf 中配置 lua_need_request_body on（但此做法已不再推荐），或者
3. 在 Lua 中使用 ngx.req.socket().

Regards,
-agentzh

感谢啊，我也刚发现了我自己搞混了。请求体数据的相关命令暂时还没遇到，但先记下了。

其实解决方法就是我用 ngx.lua 自己写个缓存逻辑替代 ngx_srcache 模块

我边学边写了个，目的是不管有没有命中redis缓存都从后端获取数据进行redis缓存的更新：

location / {
    default_type 'text/html';
    set $key $url;
    set_escape_uri $escaped_key $key;
    set $exptime 300;
    content_by_lua '
        local resa = ngx.location.capture(
            '/redis',
            { method = ngx.HTTP_GET },
            { args = '$key' }
        )
        if resa.status == 200 then
            ngx.say(resa.body)
        else
            local resb = ngx.location.capture('/proxy')
            if resb.status == 200 then
                ngx.say(resb.body)
                ngx.location.capture(
                    '/redis2',
                    { method = ngx.HTTP_PUT },
                    { args = 'key=$escaped_key&exptime=$exptime' }
                    )
            end
        end

        if not resb then
            local resb = ngx.location.capture('/proxy')
            if resb.status == 200 then
                ngx.say(resb.body)
                ngx.location.capture(
                    '/redis2',
                    { method = ngx.HTTP_PUT },
                    { args = 'key=$escaped_key&exptime=$exptime' }
                    )
            end
        end
    ';
}

location = /redis {
    internal;
    set $redis_key $uri;
    redis_pass redis;
}

location = /redis2 {
    internal;
    set_unescape_uri $exptime $arg_exptime;
    set_unescape_uri $key $arg_key;
    redis2_query set $key $echo_request_body;
    redis2_query expire $key $exptime;
    redis2_pass redis;
}

location = /proxy {
    proxy_pass http://backend;
}

这里面又用到了很多新学的，很可能有错误，希望能指出。。。

agentzh

Hello!

2012/10/25 Bill Zhu:
>
>
> 这里面又用到了很多新学的，很可能有错误，希望能指出。。。
>

由于我没有时间仔细 review 每一位用户提供的 Lua 代码，特别是当对方还没有遇到具体问题的时候。

所以我建议直接在你本地运行和测试你的代码，当有问题时，自己通过加入调试输出语言进行调试。当有困惑时，首先参阅官方文档。当你遇到的行为与文档有出入时，请准备一个能复现问题的最小化的完整示例（最好
20 行代码以内），并贴到这里。

谢谢合作！

Best regards,
-agentzh

billfzhu

感谢指点，最终代码通过测试了，http://pastebin.com/5p99cCuj

还有个问题，如果我把 redis 和 redis2 两个模块用 lua-resty-redis 来写和上面的性能相比如何？

你在 http://wiki.nginx.org/HttpRedis2Module#Lua_Interoperability 上这样写：

“This module can be served as a non-blocking redis2 client for HttpLuaModule (but nowadays it is recommended to use the lua-resty-redis library instead, which is much simpler to use and more efficient most of the time).”

意思是说大部分情况 lua-resty-redis 更简单有效，但 redis 和 redis2 模块是c语言，而 lua-resty-redis 是 lua 语言，应该是 redis 和 redis2 模块更高效的？

On Friday, October 26, 2012 2:21:14 AM UTC+8, agentzh wrote:

Hello!
2012/10/25 Bill Zhu:
>
>
> 这里面又用到了很多新学的，很可能有错误，希望能指出。。。
>
由于我没有时间仔细 review 每一位用户提供的 Lua 代码，特别是当对方还没有遇到具体问题的时候。
所以我建议直接在你本地运行和测试你的代码，当有问题时，自己通过加入调试输出语言进行调试。当有困惑时，首先参阅官方文档。当你遇到的行为与文档有出入时，请准备一个能复现问题的最小化的完整示例（最好
20 行代码以内），并贴到这里。
谢谢合作！
Best regards,
-agentzh

agentzh

Hello!

2012/10/26 Bill Zhu:
> 感谢指点，最终代码通过测试了，http://pastebin.com/5p99cCuj
>
> 还有个问题，如果我把 redis 和 redis2 两个模块用 lua-resty-redis 来写和上面的性能相比如何？
>

最简单最可靠的做法是你直接在你本地进行压测比较。

> 你在 http://wiki.nginx.org/HttpRedis2Module#Lua_Interoperability 上这样写：
>
> “This module can be served as a non-blocking redis2 client for HttpLuaModule
> (but nowadays it is recommended to use the lua-resty-redis library instead,
> which is much simpler to use and more efficient most of the time).”
>
> 意思是说 大部分情况 lua-resty-redis 更简单有效，但 redis 和 redis2 模块 是c语言，而 lua-resty-redis
> 是 lua 语言，应该是 redis 和 redis2 模块更高效的？
>

二者的实现方式是不同的，一方面 ngx_redis 和 ngx_redis2 基于的 ngx_http_upstream 机制在实现上并没有
ngx_lua 的 cosocket 机制高效；另一方面，从 Lua 中访问前者会引入子请求的开销。另外，由于 redis
协议足够简单，所以 lua-resty-redis 涉及的 Lua 代码非常之少，而 LuaJIT 又非常高效。所以结果经常是后者胜出。

无论如何，还是那句话："Only trust what *you* can test".

Best regards,
-agentzh