询问一个有关ngx_lua模块二次开发相关的问题

yuehu.p

春哥你好：

最近刚接触到ngxinx第三方模块的开发，实现公司产品需求时候遇到了内存泄露和运行错误的问题。

公司的需求是这样的：

           1、修改ngx_lua模块实现若干接口暴露给其他第三方模块
           2、在其他模块中进行lua_state的生成、lua的代码加载和执行工作
           3、因为代码加载次数会比较多，所以需要加载工作可以在不重启nginx引擎的情况下动态完成，并且根据请求的不同调用不同的lua代码。

之后参考了下ngx_lua的access_by阶段处理的代码，做了一些粗略的修改，主要是在ngx_http_lua_api中增加了几个接口，之后暴露给另外一个模块以便在access阶段的hook函数中进行调用。

ngx_lua中增加的接口有三个：
1、init_state
     生成一个新的lua_state，调用ngx_lua模块中原有的代码进行环境变量、自定义函数的注册工作等。
2、load_source
     将ngx_http_lua_cache_loadbuffer 函数封装暴露给外部，以便将lua代码动态的载入到lua_state中。
3、run_lua
     请求到达后在第三方模块中根据请求的url之类匹配相应的lua_state，之后传入该接口进行具体的执行工作。
    这里自我感觉出问题的可能性比较大，因为仿照ngx_http_lua_access_handler实现时去掉了里面关于lmcf->postponed_to_access_phase_end相关的处理代码，但是加上之后又没有解决问题，还有就是ngx_http_lua_create_ctx用一个简化的版本进行了替代具体内容为：
    ngx_http_lua_init_ctx(r, ctx);
    ngx_http_set_ctx(r, ctx, ngx_http_lua_module);
    ctx->vm_state = NULL;

     现在代码完成后发现有两个比较严重的问题：
     一个是内存泄露比较严重，ab打并发是一致在增长，怀疑lua的协程没有释放，因为发现ctx->co_ref一直在增长。使用您写的stapxx脚本也没有发现泄露点在哪里。
     另一个是nginx启动后第一次请求lua脚本运行成功，但后面所有的请求都会遇到500的错误，error.log中查看相关错误为

2014/12/03 02:03:59 [debug] 16970#0: *2 lua run thread, top:-1 c:1
2014/12/03 02:03:59 [debug] 16970#0: *2 lua resume returned 2
2014/12/03 02:03:59 [error] 16970#0: *2 lua entry thread aborted: runtime error: attempt to call a nil value

因为刚刚这些接触没多久，但是需求的实现又比较紧急，不知道春哥可不可以指点下这种情况从哪里入手排查比较好，run_lua中那两处修改是否有关，还有实现方向上有什么问题。

agentzh

Hello!

2014-12-03 2:40 GMT-08:00 Kawaru:
> 公司的需求是这样的：
>            1、修改ngx_lua模块实现若干接口暴露给其他第三方模块
>            2、在其他模块中进行lua_state的生成、lua的代码加载和执行工作
>            3、因为代码加载次数会比较多，所以需要加载工作可以在不重启nginx引擎的情况下动态完成，并且根据请求的不同调用不同的lua代码。
>

强烈建议不要这么做。

尽量用 Lua 作为胶水去粘合其他第三方的 C 库或 C 模块（比如通过 FFI 或者子请求），而不要反过来，把第三方 C
模块和库作为胶水去粘合 Lua 代码。ngx_lua 对 lua_State
的管理细节是故意对外抽象掉的，因为有很多复杂的约定和要求。你自己的外部 C 代码故意破坏此封装是很难不出问题的 :)

ngx_lua 也提供了 C 级别的 API 供用户通过自己的 nginx C 模块添加新的 Lua API，但其主执行模型以及用户 Lua
代码的加载和管理仍是 ngx_lua 自己的。这样的一个例子是
https://github.com/openresty/lua-upstream-nginx-module

Regards,
-agentzh

yuehu.p

谢谢春哥的建议。
因为我们现在其实主要还有其他功能对接，所以需要自己替代nginx里匹配server和location的逻辑以实现不重启nginx引擎来重载匹配策略，但是还想利用ngx_lua去完成一些类似waf的功能过滤意的请求。可不可以在c中通过ngx_lua的api打入lua的代码，然后在c中根据请求的域名和url完成和相应的lua代码匹配，之后将相应的代码交由ngx_lua执行。
如果通过ngx_lua的api实现的话，春哥有什么实现上的建议和思路？

在 2014年12月4日星期四UTC+8上午8时26分16秒，agentzh写道：

Hello!

2014-12-03 2:40 GMT-08:00 Kawaru:
> 公司的需求是这样的：
> 1、修改ngx_lua模块实现若干接口暴露给其他第三方模块
> 2、在其他模块中进行lua_state的生成、lua的代码加载和执行工作
> 3、因为代码加载次数会比较多，所以需要加载工作可以在不重启nginx引擎的情况下动态完成，并且根据请求的不同调用不同的lua代码。
>

强烈建议不要这么做。

尽量用 Lua 作为胶水去粘合其他第三方的 C 库或 C 模块（比如通过 FFI 或者子请求），而不要反过来，把第三方 C
模块和库作为胶水去粘合 Lua 代码。ngx_lua 对 lua_State
的管理细节是故意对外抽象掉的，因为有很多复杂的约定和要求。你自己的外部 C 代码故意破坏此封装是很难不出问题的 :)

ngx_lua 也提供了 C 级别的 API 供用户通过自己的 nginx C 模块添加新的 Lua API，但其主执行模型以及用户 Lua
代码的加载和管理仍是 ngx_lua 自己的。这样的一个例子是
https://github.com/openresty/lua-upstream-nginx-module

Regards,
-agentzh

yuehu.p

或者有没有可能在c中将lua的代码装载到一个lua的全局表中，然后在lua中根据域名或者url访问指定的代码运行？

在 2014年12月4日星期四UTC+8上午8时26分16秒，agentzh写道：

Hello!

2014-12-03 2:40 GMT-08:00 Kawaru:
> 公司的需求是这样的：
> 1、修改ngx_lua模块实现若干接口暴露给其他第三方模块
> 2、在其他模块中进行lua_state的生成、lua的代码加载和执行工作
> 3、因为代码加载次数会比较多，所以需要加载工作可以在不重启nginx引擎的情况下动态完成，并且根据请求的不同调用不同的lua代码。
>

强烈建议不要这么做。

尽量用 Lua 作为胶水去粘合其他第三方的 C 库或 C 模块（比如通过 FFI 或者子请求），而不要反过来，把第三方 C
模块和库作为胶水去粘合 Lua 代码。ngx_lua 对 lua_State
的管理细节是故意对外抽象掉的，因为有很多复杂的约定和要求。你自己的外部 C 代码故意破坏此封装是很难不出问题的 :)

ngx_lua 也提供了 C 级别的 API 供用户通过自己的 nginx C 模块添加新的 Lua API，但其主执行模型以及用户 Lua
代码的加载和管理仍是 ngx_lua 自己的。这样的一个例子是
https://github.com/openresty/lua-upstream-nginx-module

Regards,
-agentzh

noisywolf

nignx的虚拟主机和location指令就是为这个准备的

发自我的 iPhone

在 2014年12月4日，上午10:57，Kawaru <yue...@gmail.com> 写道：

或者有没有可能在c中将lua的代码装载到一个lua的全局表中，然后在lua中根据域名或者url访问指定的代码运行？

在 2014年12月4日星期四UTC+8上午8时26分16秒，agentzh写道：
Hello!

2014-12-03 2:40 GMT-08:00 Kawaru:
> 公司的需求是这样的：
> 1、修改ngx_lua模块实现若干接口暴露给其他第三方模块
> 2、在其他模块中进行lua_state的生成、lua的代码加载和执行工作
> 3、因为代码加载次数会比较多，所以需要加载工作可以在不重启nginx引擎的情况下动态完成，并且根据请求的不同调用不同的lua代码。
>

强烈建议不要这么做。

尽量用 Lua 作为胶水去粘合其他第三方的 C 库或 C 模块（比如通过 FFI 或者子请求），而不要反过来，把第三方 C
模块和库作为胶水去粘合 Lua 代码。ngx_lua 对 lua_State
的管理细节是故意对外抽象掉的，因为有很多复杂的约定和要求。你自己的外部 C 代码故意破坏此封装是很难不出问题的 :)

ngx_lua 也提供了 C 级别的 API 供用户通过自己的 nginx C 模块添加新的 Lua API，但其主执行模型以及用户 Lua
代码的加载和管理仍是 ngx_lua 自己的。这样的一个例子是
https://github.com/openresty/lua-upstream-nginx-module

Regards,
-agentzh

--

agentzh

Hello!

2014-12-03 17:34 GMT-08:00 Kawaru:
> 因为我们现在其实主要还有其他功能对接，所以需要自己替代nginx里匹配server和location的逻辑以实现不重启nginx引擎来重载匹配策略，但是还想利用ngx_lua去完成一些类似waf的功能过滤意的请求。可不可以在c中通过ngx_lua的api打入lua的代码，然后在c中根据请求的域名和url完成和相应的lua代码匹配，之后将相应的代码交由ngx_lua执行。
> 如果通过ngx_lua的api实现的话，春哥有什么实现上的建议和思路？
>

你可以定义一个抽象的 server {} 和 location {} 块，然后在 Lua 里完成具体的配置和匹配逻辑。比如在
CloudFlare 的 nginx 中，我们并没有为每一个源站都定义一个 server {} 和若干个 location，而是在 Lua
中动态完成配置的加载（从外部的 key-value 服务非阻塞地加载）和执行。甚至在 CloudFlare 的 SSL 网关中，我们也是通过
Lua 来按需动态加载 SSL 证书和私钥。Lua 代码和其他 nginx C 模块的通信主要通过 nginx
变量来完成。这并不需要采取你说的那种（很困难的）模式。原生的 ngx_lua 模块就足够了。

Regards,
-agentzh

yuehu.p

好的谢谢春哥

在 2014年12月5日星期五UTC+8上午4时23分29秒，agentzh写道：

Hello!

2014-12-03 17:34 GMT-08:00 Kawaru:
> 因为我们现在其实主要还有其他功能对接，所以需要自己替代nginx里匹配server和location的逻辑以实现不重启nginx引擎来重载匹配策略，但是还想利用ngx_lua去完成一些类似waf的功能过滤意的请求。可不可以在c中通过ngx_lua的api打入lua的代码，然后在c中根据请求的域名和url完成和相应的lua代码匹配，之后将相应的代码交由ngx_lua执行。
> 如果通过ngx_lua的api实现的话，春哥有什么实现上的建议和思路？
>

你可以定义一个抽象的 server {} 和 location {} 块，然后在 Lua 里完成具体的配置和匹配逻辑。比如在
CloudFlare 的 nginx 中，我们并没有为每一个源站都定义一个 server {} 和若干个 location，而是在 Lua
中动态完成配置的加载（从外部的 key-value 服务非阻塞地加载）和执行。甚至在 CloudFlare 的 SSL 网关中，我们也是通过
Lua 来按需动态加载 SSL 证书和私钥。Lua 代码和其他 nginx C 模块的通信主要通过 nginx
变量来完成。这并不需要采取你说的那种（很困难的）模式。原生的 ngx_lua 模块就足够了。

Regards,
-agentzh