请教个ngx_lua源码的问题

Hello! 2012/6/20 Hello Chan <czb...@gmail.com>: > 春哥为什么不把 lua-resty-http 归入到...

bigplum · 2012-06-20T14:45:41+00:00

Hello! 2012/6/20 Hello Chan <czb...@gmail.com>: > 春哥为什么不把 lua-resty-http 归入到...

请教个ngx_lua源码的问题

bigplum

下面代码提到    /*  pop coroutine reference on main thread's stack after
anchoring it
     *  in registry */

但是并没看到有将cr放到registry的地方，是lua_getfield(L, LUA_REGISTRYINDEX,
NGX_LUA_CORT_REF);这个语句吗？可是这时候cr还未生成呢。

lua_State *
ngx_http_lua_new_thread(ngx_http_request_t *r, lua_State *L, int *ref)
{
    int              top;
    lua_State       *cr;

    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
            "lua creating new thread");

    top = lua_gettop(L);

    lua_getfield(L, LUA_REGISTRYINDEX, NGX_LUA_CORT_REF);

    cr = lua_newthread(L);

    if (cr) {
        /*  new globals table for coroutine */
        lua_newtable(cr);

        /*  {{{ inherit coroutine's globals to main thread's globals
table
         *  for print() function will try to find tostring() in
current
         *  globals *  table. */
        lua_createtable(cr, 0, 1);
        lua_pushvalue(cr, LUA_GLOBALSINDEX);
        lua_setfield(cr, -2, "__index");
        lua_setmetatable(cr, -2);
        /*  }}} */

        lua_replace(cr, LUA_GLOBALSINDEX);

        *ref = luaL_ref(L, -2);

        if (*ref == LUA_NOREF) {
            lua_settop(L, top);  /* restore main thread stack */
            return NULL;
        }
    }

    /*  pop coroutine reference on main thread's stack after anchoring
it
     *  in registry */
    lua_pop(L, 1);

    return cr;
}

agentzh

Hello!

On Wed, Jun 20, 2012 at 2:45 PM, Simon <big...@gmail.com> wrote:
> 下面代码提到    /*  pop coroutine reference on main thread's stack after
> anchoring it
>     *  in registry */
>
> 但是并没看到有将cr放到registry的地方，是lua_getfield(L, LUA_REGISTRYINDEX,
> NGX_LUA_CORT_REF);这个语句吗？

不是，是下面这一句：

    *ref = luaL_ref(L, -2);

此时 -2 的栈位置便是

    lua_pushlightuserdata(L, &ngx_http_lua_coroutines_key);
    lua_rawget(L, LUA_REGISTRYINDEX);

这两句生成的表。

而 -1 则是

    cr = lua_newthread(L);

新建的 coroutine 对象。

Regards,
-agentzh

agentzh

Hello!

On Wed, Jun 20, 2012 at 2:45 PM, Simon <big...@gmail.com> wrote:
> 下面代码提到    /*  pop coroutine reference on main thread's stack after
> anchoring it
>     *  in registry */
>
> 但是并没看到有将cr放到registry的地方，是lua_getfield(L, LUA_REGISTRYINDEX,
> NGX_LUA_CORT_REF);这个语句吗？可是这时候cr还未生成呢。
>

另外，值得一提的是，你使用的 ngx_lua 版本有点老，呵呵。我前一封邮件引用的是 ngx_lua v0.5.2 中的源码 ;)

Regards,
-agentzh

fengmo.q

所有的协程应该是保存在一个table中，这个table保存在registry里面，
lua_getfield(L, LUA_REGISTRYINDEX, NGX_LUA_CORT_REF); 这一句从registry表得到这个table并保存一份在栈上，
L的栈：

--------------------

| cort_table |

--------------------

接着 cr = lua_newthread(L); 新建一个协程并压入L的栈，

L的栈：

--------------------

| cr |

--------------------

| cort_table |

--------------------

如果分配协程成功，继续初始化，首先分配新全局表，并压入cr的栈：

/* new globals table for coroutine */

lua_newtable(cr);

cr的栈：

-------------------

| _G (new) |

-------------------

为新全局表分配新的metatable ：

lua_createtable(cr, 0, 1);

cr的栈：

-------------------

| metatable |

-------------------

| _G (new) |

-------------------

设置metatable的__index为旧的全局表（继承之），先得到旧的全局表，并压入cr的栈：

lua_pushvalue(cr, LUA_GLOBALSINDEX);

cr的栈：

-------------------

| _G (old) |

-------------------

| metatable |

-------------------

| _G (new) |

-------------------

设置metatable的__index为旧的全局表：

lua_setfield(cr, -2, "__index");

lua_setmetatable(cr, -2);

cr的栈：

-------------------

| _G (new) |

-------------------

将新建的协程全局表替换为新的：

lua_replace(cr, LUA_GLOBALSINDEX);

cr的栈：

空（不包括新建的时候压入的）

将新建的协程保存在协程表当中，并得到相应的索引：

*ref = luaL_ref(L, -2);

L的栈：

--------------------

| cort_table |

--------------------

清空L的栈：

lua_pop(L, 1);

L栈：

空

2012/6/20 Simon <big...@gmail.com>

下面代码提到 /* pop coroutine reference on main thread's stack after
anchoring it
* in registry */

但是并没看到有将cr放到registry的地方，是lua_getfield(L, LUA_REGISTRYINDEX,
NGX_LUA_CORT_REF);这个语句吗？可是这时候cr还未生成呢。

lua_State *
ngx_http_lua_new_thread(ngx_http_request_t *r, lua_State *L, int *ref)
{
int top;
lua_State *cr;

ngx_log_debug0(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
"lua creating new thread");

top = lua_gettop(L);

lua_getfield(L, LUA_REGISTRYINDEX, NGX_LUA_CORT_REF);

cr = lua_newthread(L);

if (cr) {
/* new globals table for coroutine */
lua_newtable(cr);

/* {{{ inherit coroutine's globals to main thread's globals
table
* for print() function will try to find tostring() in
current
* globals * table. */
lua_createtable(cr, 0, 1);
lua_pushvalue(cr, LUA_GLOBALSINDEX);
lua_setfield(cr, -2, "__index");
lua_setmetatable(cr, -2);
/* }}} */

lua_replace(cr, LUA_GLOBALSINDEX);

*ref = luaL_ref(L, -2);

if (*ref == LUA_NOREF) {
lua_settop(L, top); /* restore main thread stack */
return NULL;
}
}

/* pop coroutine reference on main thread's stack after anchoring
it
* in registry */
lua_pop(L, 1);

return cr;
}

Jinglong
Software Engineer
Server Platforms Team at Taobao

agentzh

Hello!

2012/6/20 pengqi <fen...@gmail.com>:
> 所有的协程应该是保存在一个table中，这个table保存在registry里面，

是的。当协程结束或者被丢弃时，通过 luaL_unref 把协程对象从这个 registry 里的 table 中去除引用，从而让 Lua GC 回收之。

感谢 pengqi 同学细致的源码分析 :)

Regards,
-agentzh

fengmo.q

旧的版本代码没有清掉继承自旧全局表里面的_G，最近chaoslawful进行了更新，重新将_G赋值为新的全局表，防止在新建协程里面对主线程全局表的非法访问。

在 2012年6月20日下午3:43，pengqi <fen...@gmail.com>写道：

所有的协程应该是保存在一个table中，这个table保存在registry里面，
lua_getfield(L, LUA_REGISTRYINDEX, NGX_LUA_CORT_REF); 这一句从registry表得到这个table并保存一份在栈上，
L的栈：
--------------------
| cort_table |
--------------------
接着 cr = lua_newthread(L); 新建一个协程并压入L的栈，
L的栈：
--------------------
| cr |
--------------------
   | cort_table |

--------------------
如果分配协程成功，继续初始化，首先分配新全局表，并压入cr的栈：
/* new globals table for coroutine */
lua_newtable(cr);
cr的栈：
-------------------
| _G (new) |
-------------------
为新全局表分配新的metatable ：
lua_createtable(cr, 0, 1);
cr的栈：
-------------------

| metatable |
-------------------
| _G (new) |
-------------------
设置metatable的__index为旧的全局表（继承之），先得到旧的全局表，并压入cr的栈：
lua_pushvalue(cr, LUA_GLOBALSINDEX);

  cr的栈：
-------------------
| _G (old) |
-------------------
| metatable |
-------------------

| _G (new) |
-------------------
设置metatable的__index为旧的全局表：
lua_setfield(cr, -2, "__index");
lua_setmetatable(cr, -2);

cr的栈：
-------------------
| _G (new) |
-------------------
将新建的协程全局表替换为新的：
lua_replace(cr, LUA_GLOBALSINDEX);

cr的栈：
空（不包括新建的时候压入的）

将新建的协程保存在协程表当中，并得到相应的索引：
*ref = luaL_ref(L, -2);
L的栈：

--------------------
   | cort_table |
--------------------
清空L的栈：
lua_pop(L, 1);
L栈：
空

2012/6/20 Simon <big...@gmail.com>
下面代码提到 /* pop coroutine reference on main thread's stack after
anchoring it
* in registry */

但是并没看到有将cr放到registry的地方，是lua_getfield(L, LUA_REGISTRYINDEX,
NGX_LUA_CORT_REF);这个语句吗？可是这时候cr还未生成呢。

lua_State *
ngx_http_lua_new_thread(ngx_http_request_t *r, lua_State *L, int *ref)
{
int top;
lua_State *cr;

ngx_log_debug0(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
"lua creating new thread");

top = lua_gettop(L);

lua_getfield(L, LUA_REGISTRYINDEX, NGX_LUA_CORT_REF);

cr = lua_newthread(L);

if (cr) {
/* new globals table for coroutine */
lua_newtable(cr);

/* {{{ inherit coroutine's globals to main thread's globals
table
* for print() function will try to find tostring() in
current
* globals * table. */
lua_createtable(cr, 0, 1);
lua_pushvalue(cr, LUA_GLOBALSINDEX);
lua_setfield(cr, -2, "__index");
lua_setmetatable(cr, -2);
/* }}} */

lua_replace(cr, LUA_GLOBALSINDEX);

*ref = luaL_ref(L, -2);

if (*ref == LUA_NOREF) {
lua_settop(L, top); /* restore main thread stack */
return NULL;
}
}

/* pop coroutine reference on main thread's stack after anchoring
it
* in registry */
lua_pop(L, 1);

return cr;
}

--

Jinglong
Software Engineer
Server Platforms Team at Taobao

Jinglong
Software Engineer
Server Platforms Team at Taobao

agentzh

Hello!

2012/6/20 pengqi <fen...@gmail.com>:
> 旧的版本代码没有清掉继承自旧全局表里面的_G，最近chaoslawful进行了更新，重新将_G赋值为新的全局表，防止在新建协程里面对主线程全局表的非法访问。
>

值得指出的是，这个处理是有限制的，在 Lua 模块的上下文中访问 _G 仍然是全局共享的（即整个 Lua VM 级别的全局共享），这里的讨论：

https://github.com/chaoslawful/lua-nginx-module/commit/08b0433d0fdee244917bb7315661fefefa1bdf98#commitcomment-1441346

一个建议是总是恰当地使用 local 关键字来声明 Lua 变量，同时在用户 Lua 模块的末尾总是加上对未声明变量的写保护，例如：

    getmetatable(module_name).__newindex = function (table, key, val)
        error('Attempt to write to undeclared variable "' .. key .. '": '
                .. debug.traceback())
    end

不应过度依赖 ngx_lua 自动在每请求清空全局变量的特殊处理。

相关的更多细节可以参见官方文档中的这一节：

    http://wiki.nginx.org/HttpLuaModule#Lua_Variable_Scope

Best regards,
-agentzh

bigplum

搞清楚了，感谢静龙画的图。LUA和c的互操作真抽象，还有很多函数搞不懂啥意思。



On Jun 20, 3:43 pm, pengqi <fengm...@gmail.com> wrote:
> 所有的协程应该是保存在一个table中，这个table保存在registry里面，
> lua_getfield(L, LUA_REGISTRYINDEX, NGX_LUA_CORT_REF);
>  这一句从registry表得到这个table并保存一份在栈上，
> L的栈：
>          --------------------
>          |  cort_table |
>          --------------------
> 接着  cr = lua_newthread(L);  新建一个协程并压入L的栈，
> L的栈：
>          --------------------
>          |      cr        |
>          --------------------
>          |  cort_table |
>          --------------------
>  如果分配协程成功，继续初始化，首先分配新全局表，并压入cr的栈：
>    /*  new globals table for coroutine */
>      lua_newtable(cr);
>  cr的栈：
>          -------------------
>          |  _G (new)  |
>          -------------------
> 为新全局表分配新的metatable ：
>    lua_createtable(cr, 0, 1);
>  cr的栈：
>          -------------------
>          |  metatable |
>          -------------------
>          |  _G (new)  |
>          -------------------
> 设置metatable的__index为旧的全局表（继承之），先得到旧的全局表，并压入cr的栈：
>    lua_pushvalue(cr, LUA_GLOBALSINDEX);
>   cr的栈：
>          -------------------
>          |  _G (old)   |
>          -------------------
>          |  metatable |
>          -------------------
>          |  _G (new)  |
>          -------------------
> 设置metatable的__index为旧的全局表：
>    lua_setfield(cr, -2, "__index");
>    lua_setmetatable(cr, -2);
>  cr的栈：
>          -------------------
>          |  _G (new)  |
>          -------------------
> 将新建的协程全局表替换为新的：
>    lua_replace(cr, LUA_GLOBALSINDEX);
>  cr的栈：
>          空（不包括新建的时候压入的）
>
> 将新建的协程保存在协程表当中，并得到相应的索引：
>         *ref = luaL_ref(L, -2);
>  L的栈：
>          --------------------
>          |  cort_table |
>          --------------------
> 清空L的栈：
>    lua_pop(L, 1);
>  L栈：
>      空
>
> 2012/6/20 Simon <bigp...@gmail.com>
>
>
>
>
>
>
>
>
>
> > 下面代码提到    /*  pop coroutine reference on main thread's stack after
> > anchoring it
> >     *  in registry */
>
> > 但是并没看到有将cr放到registry的地方，是lua_getfield(L, LUA_REGISTRYINDEX,
> > NGX_LUA_CORT_REF);这个语句吗？可是这时候cr还未生成呢。
>
> > lua_State *
> > ngx_http_lua_new_thread(ngx_http_request_t *r, lua_State *L, int *ref)
> > {
> >    int              top;
> >    lua_State       *cr;
>
> >    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
> >            "lua creating new thread");
>
> >    top = lua_gettop(L);
>
> >    lua_getfield(L, LUA_REGISTRYINDEX, NGX_LUA_CORT_REF);
>
> >    cr = lua_newthread(L);
>
> >    if (cr) {
> >        /*  new globals table for coroutine */
> >        lua_newtable(cr);
>
> >        /*  {{{ inherit coroutine's globals to main thread's globals
> > table
> >         *  for print() function will try to find tostring() in
> > current
> >         *  globals *  table. */
> >        lua_createtable(cr, 0, 1);
> >        lua_pushvalue(cr, LUA_GLOBALSINDEX);
> >        lua_setfield(cr, -2, "__index");
> >        lua_setmetatable(cr, -2);
> >        /*  }}} */
>
> >        lua_replace(cr, LUA_GLOBALSINDEX);
>
> >        *ref = luaL_ref(L, -2);
>
> >        if (*ref == LUA_NOREF) {
> >            lua_settop(L, top);  /* restore main thread stack */
> >            return NULL;
> >        }
> >    }
>
> >    /*  pop coroutine reference on main thread's stack after anchoring
> > it
> >     *  in registry */
> >    lua_pop(L, 1);
>
> >    return cr;
> > }
>
> > --
> Jinglong
> Software Engineer
> Server Platforms Team at Taobao

agentzh

Hello!

2012/6/21 Simon <big...@gmail.com>:
> 搞清楚了，感谢静龙画的图。LUA和c的互操作真抽象，还有很多函数搞不懂啥意思。
>

Lua 5.1 的标准 C API 都在这篇官方手册中了：

    http://www.lua.org/manual/5.1/manual.html

这是我平日里最常翻看的文档之一 :)

Best regards,
-agentzh