Re: [openresty] 讨论一个ngx_lua使用习惯的问题

agentzh

Hello!

2014-09-03 2:49 GMT-07:00 老王:
> 比如说我要加载一个init脚本，最简单的可以直接：
>
> init_by_lua_file /path/to/a/init.lua;
>
> 但问题是，有的时候，在同一台web服务器上，可能有多个使用ngx_lua项目，它们可能都有自己的init脚本，而我又不能重复多次调用init_by_lua_file：
>
> init_by_lua_file /path/to/a/init.lua;
> init_by_lua_file /path/to/b/init.lua;
>

建议在 Lua 语言级别上进行模块的叠加，这样更为灵活，同时也更加高效。例如你可以有一个总的入口模块：

    init_by_lua_file /path/to/global-init.lua;

然后在 global-init.lua 文件中 require 并执行对应的模块：

    -- global-init.lua

    require("foo").main()
    require("bar").main()
    require("baz").main()
    require("bah").main()

当然了，你也可以把各模块的入口函数 main() 更换为其他更短的名字，比如 go().

这种模式同样适用于 rewrite_by_lua* 和 content_by_lua* 这样的请求处理程序。而且 require()
可以享受到代码缓存（感谢全局的 package.loaded 表），而 dofile() 不能。同时这种 require().go()
的用法支持使用所有会 yield 的 Lua API，比如 ngx.socket.tcp 和 ngx.sleep，而 dofile()
会得到“attempt to yield across C-call boundary”的错误。

另外，值得一提的是，请不要在邮件组的 web UI 中反复编辑贴子，这样会触发发送很多大同小异的邮件，造成大家流量的浪费 ;)
尽量重新跟贴，或者直接向邮件组发送邮件。谢谢合作！

Regards,
-agentzh

chenliq

这种global-init做法会不会造成任意一个项目页面被请求，都要初始化其他所有项目的代码？还是说init_by_lua只在nginx重启后第一次访问才会被执行？

在 2014年9月4日星期四 UTC+8上午2:28:01，agentzh写道：

Hello!

2014-09-03 2:49 GMT-07:00 老王:
> 比如说我要加载一个init脚本，最简单的可以直接：
>
> init_by_lua_file /path/to/a/init.lua;
>
> 但问题是，有的时候，在同一台web服务器上，可能有多个使用ngx_lua项目，它们可能都有自己的init脚本，而我又不能重复多次调用init_by_lua_file：
>
> init_by_lua_file /path/to/a/init.lua;
> init_by_lua_file /path/to/b/init.lua;
>

建议在 Lua 语言级别上进行模块的叠加，这样更为灵活，同时也更加高效。例如你可以有一个总的入口模块：

init_by_lua_file /path/to/global-init.lua;

然后在 global-init.lua 文件中 require 并执行对应的模块：

-- global-init.lua

require("foo").main()
require("bar").main()
require("baz").main()
require("bah").main()

当然了，你也可以把各模块的入口函数 main() 更换为其他更短的名字，比如 go().

这种模式同样适用于 rewrite_by_lua* 和 content_by_lua* 这样的请求处理程序。而且 require()
可以享受到代码缓存（感谢全局的 package.loaded 表），而 dofile() 不能。同时这种 require().go()
的用法支持使用所有会 yield 的 Lua API，比如 ngx.socket.tcp 和 ngx.sleep，而 dofile()
会得到“attempt to yield across C-call boundary”的错误。

另外，值得一提的是，请不要在邮件组的 web UI 中反复编辑贴子，这样会触发发送很多大同小异的邮件，造成大家流量的浪费 ;)
尽量重新跟贴，或者直接向邮件组发送邮件。谢谢合作！

Regards,
-agentzh

agentzh

Hello!

2015-05-15 17:54 GMT+08:00 陈立强:
> 这种global-init做法会不会造成任意一个项目页面被请求
> ，都要初始化其他所有项目的代码？还是说init_by_lua只在nginx重启后第一次访问才会被执行？
>

init_by_lua 不是由请求触发的，而是在 nginx 加载配置时自动运行的。建议仔细阅读对应的官方文档：

https://github.com/openresty/lua-nginx-module#init_by_lua

Regards,
-agentzh

bajief.flow

春哥，刚好顺这个问题再问一下：

在http段使用的access_by_lua_file，这个file是不是被每个worker共享Copy-on-write (COW) ,不是每个requrest再重新编译？

worker_processes 10;

http {

access_by_lua_file "test.lua";

}

在 2014年9月4日星期四 UTC+8上午2:28:01，agentzh写道：

Hello!

2014-09-03 2:49 GMT-07:00 老王:
> 比如说我要加载一个init脚本，最简单的可以直接：
>
> init_by_lua_file /path/to/a/init.lua;
>
> 但问题是，有的时候，在同一台web服务器上，可能有多个使用ngx_lua项目，它们可能都有自己的init脚本，而我又不能重复多次调用init_by_lua_file：
>
> init_by_lua_file /path/to/a/init.lua;
> init_by_lua_file /path/to/b/init.lua;
>

建议在 Lua 语言级别上进行模块的叠加，这样更为灵活，同时也更加高效。例如你可以有一个总的入口模块：

init_by_lua_file /path/to/global-init.lua;

然后在 global-init.lua 文件中 require 并执行对应的模块：

-- global-init.lua

require("foo").main()
require("bar").main()
require("baz").main()
require("bah").main()

当然了，你也可以把各模块的入口函数 main() 更换为其他更短的名字，比如 go().

这种模式同样适用于 rewrite_by_lua* 和 content_by_lua* 这样的请求处理程序。而且 require()
可以享受到代码缓存（感谢全局的 package.loaded 表），而 dofile() 不能。同时这种 require().go()
的用法支持使用所有会 yield 的 Lua API，比如 ngx.socket.tcp 和 ngx.sleep，而 dofile()
会得到“attempt to yield across C-call boundary”的错误。

另外，值得一提的是，请不要在邮件组的 web UI 中反复编辑贴子，这样会触发发送很多大同小异的邮件，造成大家流量的浪费 ;)
尽量重新跟贴，或者直接向邮件组发送邮件。谢谢合作！

Regards,
-agentzh

agentzh

Hello!

2015-05-29 18:15 GMT+08:00 Fl Hu:
> 在http段使用的access_by_lua_file，这个file是不是被每个worker共享Copy-on-write (COW)
> ,不是每个requrest再重新编译？
>

目前的实现是每个 nginx worker 进程在处理第一个请求时加载对应的 Lua 代码，加载后的结果（即生成的 Lua/LuaJIT
字节码会缓存在 VM 级别，在 worker 进程内部共享），除非你自己配置了 lua_code_cache off。所以每个 worker
都会加载且仅加载一次 .lua 文件。

由于是由 worker 进程加载这些 .lua 文件，所以享受不到 COW. 同时这些 .lua 文件里的语法错误的报告也会推迟到第一个请求处理时。

当然，我有计划改变这个实现，改为在 nginx 加载配置时实际加载 *_by_lua_file 指定的 .lua 文件，这样可以有机会享受到
COW 带来的好处，同时也可以及时抛出 Lua 语法错误等异常。

Regards,
-agentzh

bajief.flow

感谢春哥，已经达到我当前的需求了。

另外问一下使用init加载的lua file里的模块，能通过package.loaded =nil reload吗，我试了好多次，都不知道要怎么触发，用share_dict也不行。

不行的话，就用access了，反正每个配置项更新也不算频繁，但需要不reload nginx来更新。

性能回头压一下看看。

感谢春哥，很好用：）

在 2015年5月29日星期五 UTC+8下午8:03:42，agentzh写道：

Hello!

2015-05-29 18:15 GMT+08:00 Fl Hu:
> 在http段使用的access_by_lua_file，这个file是不是被每个worker共享Copy-on-write (COW)
> ,不是每个requrest再重新编译？
>

目前的实现是每个 nginx worker 进程在处理第一个请求时加载对应的 Lua 代码，加载后的结果（即生成的 Lua/LuaJIT
字节码会缓存在 VM 级别，在 worker 进程内部共享），除非你自己配置了 lua_code_cache off。所以每个 worker
都会加载且仅加载一次 .lua 文件。

由于是由 worker 进程加载这些 .lua 文件，所以享受不到 COW. 同时这些 .lua 文件里的语法错误的报告也会推迟到第一个请求处理时。

当然，我有计划改变这个实现，改为在 nginx 加载配置时实际加载 *_by_lua_file 指定的 .lua 文件，这样可以有机会享受到
COW 带来的好处，同时也可以及时抛出 Lua 语法错误等异常。

Regards,
-agentzh

agentzh

Hello!

2015-05-29 21:00 GMT+08:00 Fl Hu:
> 另外问一下使用init加载的lua file里的模块，能通过package.loaded =nil
> reload吗，我试了好多次，都不知道要怎么触发，用share_dict也不行。
>

你是说 init_by_lua 还是 init_worker_by_lua? 无论是何种上下文都是可以的，但需要小心的是通过
package.loaded.foo = nil 卸载的 Lua 模块 foo 不能使用下面的特性：

1. 使用 ffi.cdef 显式地定义新的 ctype 或 C 函数符号。通过其他 FFI 接口隐式地创建新的 ctype 也算在内
2. 使用 ffi.load 加载外部的 .so 动态链接库。

这个限制对于所有的 Lua 上下文都是适用的，并不特定于 init*_by_lua.

具体如何触发是你自己的逻辑了，我也不知道你究竟想如何触发。

Regards,
-agentzh

bajief.flow

暂时的需求只是读取更新的配置文件，所以应该不会涉及到ffi

触发是使用特殊的URL字串，并且限制了可访问的IP来源

初始化原来尝试的是init_by_lua_file，不太清楚和init_worker的区别，另外，这2种方式加载的内容，能通过package.loaded.foo=nil来重新加载吗？一直测试不成功，如果可以，能不能简单的举例一下要如何触发，使用share_dict方式的话

还有一个是关于nginx下的global,如果通过init_by_lua_file方式的，require后可以正常使用；如果改为其他方式，如access_by_lua_file或content_by_lua_file，都会报 attempt to call global 'xxx' (a boolean value)，包括函数和变量都是

在 2015年5月29日星期五 UTC+8下午9:09:12，agentzh写道：

Hello!

2015-05-29 21:00 GMT+08:00 Fl Hu:
> 另外问一下使用init加载的lua file里的模块，能通过package.loaded =nil
> reload吗，我试了好多次，都不知道要怎么触发，用share_dict也不行。
>

你是说 init_by_lua 还是 init_worker_by_lua? 无论是何种上下文都是可以的，但需要小心的是通过
package.loaded.foo = nil 卸载的 Lua 模块 foo 不能使用下面的特性：

1. 使用 ffi.cdef 显式地定义新的 ctype 或 C 函数符号。通过其他 FFI 接口隐式地创建新的 ctype 也算在内
2. 使用 ffi.load 加载外部的 .so 动态链接库。

这个限制对于所有的 Lua 上下文都是适用的，并不特定于 init*_by_lua.

具体如何触发是你自己的逻辑了，我也不知道你究竟想如何触发。

Regards,
-agentzh

agentzh

Hello!

2015-06-01 14:22 GMT+08:00 Fl Hu:
> 初始化原来尝试的是init_by_lua_file，不太清楚和init_worker的区别，

建议仔细阅读对应的官方文档。

简单的说，init_by_lua 运行在 nginx master 进程加载配置的时候（先于 fork 出新的 nginx worker
进程），而 init_worker_by_lua 运行在每一个 nginx worker 进程启动的时候。

> 另外，这2种方式加载的内容，能通过package.loaded.foo=nil来重新加载吗？

当然。

> 一直测试不成功，如果可以，能不能简单的举例一下要如何触发，使用share_dict方式的话
>

你应该提供你使用的最小化的代码例子。至于如何通过 lua_shared_dict 触发更新，取决于你具体的实现方法。

比如最简单的，你在 lua_shared_dict 里面存一个只增不减的计数器，作为版本号。然后你加载的 Lua 模块 foo
里也是同一个版本号。这样每次请求时，你总是比较共享内存中的最新版本号与当前已经加载的 Lua
模块里的版本号是否一致，不一致就从共享内存里读取新版本的 Lua 模块的源码，然后 package.loaded.foo =
loadstring(str).

同时你暴露一个新的 location（可以只对内网或本机可见），专门用来发布新版的 Lua 模块源码到共享内存字典。

> 还有一个是关于nginx下的global,如果通过init_by_lua_file方式的，require后可以正常使用；如果改为其他方式，如access_by_lua_file或content_by_lua_file，都会报
> attempt to call global 'xxx' (a boolean value)，包括函数和变量都是
>

我估计你 require() 函数用错了，见

https://github.com/openresty/lua-nginx-module#lua-variable-scope

Regards,
-agentzh