proxy_temp_path与init_worker_by_lua有冲突

ruoshan.huang · 2014-08-14T18:14:38+00:00

Hello! On Tue, Aug 12, 2014 at 11:08 PM, wxianfeng wrote: > 我的 luajit 已经安装, LUAJIT_LIB, LUAJIT_INC 环&#x5...

proxy_temp_path与init_worker_by_lua有冲突

ruoshan.huang

hi,
    添加`proxy_temp_path`, 在使用`init_worker_by_lua`的情况下发生错误, 如下:

2014/08/14 17:32:32 [emerg] 78321#0: the path name "/usr/local/nginx/proxy_temp" in /usr/local/nginx/conf/nginx.conf:11 has the same name as default path, but the different levels, you need to define default path in http section

    这个错误的配置如下:

daemon off;
master_process off;
#worker_processes  2;

events {
    worker_connections  8000;
}


http {
    proxy_temp_path /usr/local/nginx/proxy_temp;
    init_worker_by_lua '
            local a = 2 + 3
        ';

    server {
        listen 8080;
        location / {
            content_by_lua ' ngx.say("hello") ';
        }
    }
}

如果去掉`init_worker_by_lua`就能工作正常, 我看了下代码, 可能是在调用`ngx_http_proxy_merge_loc_conf`的时候(在init_worker_by_lua阶段), `ngx_add_path`发生了值重复? (看不懂 :)).
这是测试nginx的编译配置. 请注意`proxy_temp_path`必须和编译时的--http-proxy-temp-path一致.
我觉得这可能是我的使用错误, 但是确实是因为init_worker_by_lua调用了`ngx_http_proxy_merge_loc_conf`之后才会发生. :)

nginx version: nginx/1.7.3
built by clang 5.1 (clang-503.0.40) (based on LLVM 3.4svn)
configure arguments: --prefix=/usr/local/nginx --with-debug --with-http_stub_status_module --add-module=../git/lua-nginx-module --add-module=../git/lua-upstream-nginx-module


=========================== LLDB output ================================
(lldb) bt
* thread #1: tid = 0x13dc7a, 0x000000010000a4e5 nginx`ngx_add_path(cf=0x00007fff5fbff4f0, slot=0x00000000010263d0) + 21 at ngx_file.c:497, queue = 'com.apple.main-thread', stop reason = breakpoint 3.1 4.1
  * frame #0: 0x000000010000a4e5 nginx`ngx_add_path(cf=0x00007fff5fbff4f0, slot=0x00000000010263d0) + 21 at ngx_file.c:497
    frame #1: 0x000000010000a757 nginx`ngx_conf_merge_path_value(cf=0x00007fff5fbff4f0, path=0x00000000010263d0, prev=<unavailable>, init=0x00000001000c28c0) + 215 at ngx_file.c:421
    frame #2: 0x00000001000644d0 nginx`ngx_http_proxy_merge_loc_conf(cf=0x00007fff5fbff4f0, parent=0x00000000010265b8, child=0x0000000001026310) + 800 at ngx_http_proxy_module.c:2678
    frame #3: 0x0000000100099d5e nginx`ngx_http_lua_init_worker(cycle=0x0000000001001c50) + 558 at ngx_http_lua_initworkerby.c:116
    frame #4: 0x00000001000223de nginx`ngx_single_process_cycle(cycle=0x0000000001001c50) + 62 at ngx_process_cycle.c:305
    frame #5: 0x0000000100001f76 nginx`main(argc=<unavailable>, argv=<unavailable>) + 2534 at nginx.c:404

这是在发生错误的bt

—
Good day!
ruoshan

ywsample

这个的确是ngx_lua的bug，你用proxy_temp_path定义的路径如果不定义level的话，默认是没有子目录的，而ngx_http_proxy_module默认的路径是有两层子目录的。
在ngx_http_lua_init_worker中会再次调用ngx_http_proxy_merge_loc_conf，而ngx_http_proxy_merge_loc_conf中会添加ngx_http_proxy_module默认的path(路径也是proxy_temp)，这会导致与你定义的path路径名相同而level不同导致启动worker失败。

你可以不使用默认路径或者将 proxy_temp_path /usr/local/nginx/proxy_temp 指令去掉，又或者可以这样proxy_temp_path /usr/local/nginx/proxy_temp 1 2 定义来避免这个问题

估计春哥很快就会修复这个bug了。

2014-08-14 18:14 GMT+08:00 Ruoshan Huang <ruosha...@gmail.com>:

hi,
添加`proxy_temp_path`, 在使用`init_worker_by_lua`的情况下发生错误, 如下:

2014/08/14 17:32:32 [emerg] 78321#0: the path name "/usr/local/nginx/proxy_temp" in /usr/local/nginx/conf/nginx.conf:11 has the same name as default path, but the different levels, you need to define default path in http section

这个错误的配置如下:

daemon off;
master_process off;
#worker_processes 2;

events {
worker_connections 8000;
}

http {
proxy_temp_path /usr/local/nginx/proxy_temp;
init_worker_by_lua '
local a = 2 + 3
';

server {
listen 8080;
location / {
content_by_lua ' ngx.say("hello") ';
}
}
}

如果去掉`init_worker_by_lua`就能工作正常, 我看了下代码, 可能是在调用`ngx_http_proxy_merge_loc_conf`的时候(在init_worker_by_lua阶段), `ngx_add_path`发生了值重复? (看不懂 :)).
这是测试nginx的编译配置. 请注意`proxy_temp_path`必须和编译时的--http-proxy-temp-path一致.
我觉得这可能是我的使用错误, 但是确实是因为init_worker_by_lua调用了`ngx_http_proxy_merge_loc_conf`之后才会发生. :)

nginx version: nginx/1.7.3
built by clang 5.1 (clang-503.0.40) (based on LLVM 3.4svn)
configure arguments: --prefix=/usr/local/nginx --with-debug --with-http_stub_status_module --add-module=../git/lua-nginx-module --add-module=../git/lua-upstream-nginx-module

=========================== LLDB output ================================
(lldb) bt
* thread #1: tid = 0x13dc7a, 0x000000010000a4e5 nginx`ngx_add_path(cf=0x00007fff5fbff4f0, slot=0x00000000010263d0) + 21 at ngx_file.c:497, queue = 'com.apple.main-thread', stop reason = breakpoint 3.1 4.1
* frame #0: 0x000000010000a4e5 nginx`ngx_add_path(cf=0x00007fff5fbff4f0, slot=0x00000000010263d0) + 21 at ngx_file.c:497
frame #1: 0x000000010000a757 nginx`ngx_conf_merge_path_value(cf=0x00007fff5fbff4f0, path=0x00000000010263d0, prev=<unavailable>, init=0x00000001000c28c0) + 215 at ngx_file.c:421
frame #2: 0x00000001000644d0 nginx`ngx_http_proxy_merge_loc_conf(cf=0x00007fff5fbff4f0, parent=0x00000000010265b8, child=0x0000000001026310) + 800 at ngx_http_proxy_module.c:2678
frame #3: 0x0000000100099d5e nginx`ngx_http_lua_init_worker(cycle=0x0000000001001c50) + 558 at ngx_http_lua_initworkerby.c:116
frame #4: 0x00000001000223de nginx`ngx_single_process_cycle(cycle=0x0000000001001c50) + 62 at ngx_process_cycle.c:305
frame #5: 0x0000000100001f76 nginx`main(argc=<unavailable>, argv=<unavailable>) + 2534 at nginx.c:404

这是在发生错误的bt

—
Good day!
ruoshan

--

ywsample :)

agentzh

Hello!

On Thu, Aug 14, 2014 at 3:14 AM, Ruoshan Huang wrote:
> hi,
>     添加`proxy_temp_path`, 在使用`init_worker_by_lua`的情况下发生错误, 如下:
>
> 2014/08/14 17:32:32 [emerg] 78321#0: the path name "/usr/local/nginx/proxy_temp" in /usr/local/nginx/conf/nginx.conf:11 has the same name as default path, but the different levels, you need to define default path in http section
>
>     这个错误的配置如下:
>

很奇怪，我在我的 Linux x86_64 系统上尝试了你提供的这个 nginx 配置文件，无法复现你看到的错误（我也没看到任何错误）。我的
nginx -V 的输出如下：

    nginx version: nginx/1.7.3
    built by clang 3.4 (trunk 185600)
    configure arguments: --prefix=/opt/nginx2 --with-debug
--with-http_stub_status_module
--add-module=/home/agentzh/git/lua-nginx-module
--add-module=/home/agentzh/git/lua-upstream-nginx-module
--with-cc=clang

我尽量和你的配置保持一致，但我的 clang 编译器的版本要旧一些。我使用的是 nginx 官方的源码 tarball 以及 ngx_lua
官方 git 仓库里的最新版本，同时链接最新的 LuaJIT v2.1.

从代码上看，貌似也不应该出现此种情况，毕竟在 ngx_lua 的上下文中，参与 ngx_http_proxy_merge_loc_conf
的两个 loc_conf 结构都是通过 module->create_loc_conf() 回调全新创建的，不应该存在对同一个
loc_conf 进行多次 merge 的情况。

你使用的是什么版本的 ngx_lua 模块？

Regards,
-agentzh

ywsample

hello, agentzh

我获取不到nginx-1.7.3的源码，所以我用openresty-1.7.2.1用如下配置能够复现问题

worker_processes 1;

error_log logs/error.log error;

events {
    use epoll;
    worker_connections 1024;
}

http {
    proxy_temp_path proxy_temp;
    init_worker_by_lua '
        local a = 1
    ';
}

我diff了下openresty-1.7.2.1里的ngx_lua和github上最新的ngx_lua的ngx_http_lua_initworkerby.c没有修改过
而且我也看了下nginx-1.7.2和nginx-1.7.3的ngx_http_proxy_module版本没有太多修改

春哥没有复现这个问题是因为春哥的默认的proxy_temp_path 是/opt/nginx2/proxy_temp 和样例中proxy_temp_path指定的是/usr/local/nginx/proxy_temp这两个路径不相同，所以春哥复现不了

error_log:

2014/08/15 10:39:10 [emerg] 16573#0: the path name "/usr/home/yaowei2/nginxtest/nginx/proxy_temp" in /usr/home/yaowei2/nginxtest/nginx/conf/nginx.conf:12 has the same name as default path, but the different levels, you need to define default path in http section
2014/08/15 10:39:10 [alert] 16572#0: worker process 16573 exited with fatal code 2 and cannot be respawned

./sbin/nginx -V:

nginx version: openresty/1.7.2.1
built by gcc 4.7.3 (GCC)
TLS SNI support disabled
configure arguments: --prefix=/usr/home/yaowei2/nginxtest/nginx --add-module=../ngx_devel_kit-0.2.19 --add-module=../echo-nginx-module-0.54 --add-module=../xss-nginx-module-0.04 --add-module=../ngx_coolkit-0.2rc1 --add-module=../set-misc-nginx-module-0.24 --add-module=../form-input-nginx-module-0.09 --add-module=../encrypted-session-nginx-module-0.03 --add-module=../srcache-nginx-module-0.28 --add-module=../ngx_lua-0.9.10 --add-module=../ngx_lua_upstream-0.02 --add-module=../headers-more-nginx-module-0.25 --add-module=../array-var-nginx-module-0.03 --add-module=../memc-nginx-module-0.15 --add-module=../redis2-nginx-module-0.11 --add-module=../redis-nginx-module-0.3.7 --add-module=../rds-json-nginx-module-0.13 --add-module=../rds-csv-nginx-module-0.05 --with-ld-opt=-Wl,-rpath,/usr/home/yaowei2/nginxtest/luajit/lib --with-http_ssl_module

在 2014年8月15日上午6:02，Yichun Zhang (agentzh) <age...@gmail.com>写道：

Hello!

On Thu, Aug 14, 2014 at 3:14 AM, Ruoshan Huang wrote:
> hi,
> 添加`proxy_temp_path`, 在使用`init_worker_by_lua`的情况下发生错误, 如下:
>
> 2014/08/14 17:32:32 [emerg] 78321#0: the path name "/usr/local/nginx/proxy_temp" in /usr/local/nginx/conf/nginx.conf:11 has the same name as default path, but the different levels, you need to define default path in http section
>
> 这个错误的配置如下:
>

很奇怪，我在我的 Linux x86_64 系统上尝试了你提供的这个 nginx 配置文件，无法复现你看到的错误（我也没看到任何错误）。我的
nginx -V 的输出如下：

nginx version: nginx/1.7.3
built by clang 3.4 (trunk 185600)
configure arguments: --prefix=/opt/nginx2 --with-debug
--with-http_stub_status_module
--add-module=/home/agentzh/git/lua-nginx-module
--add-module=/home/agentzh/git/lua-upstream-nginx-module
--with-cc=clang

我尽量和你的配置保持一致，但我的 clang 编译器的版本要旧一些。我使用的是 nginx 官方的源码 tarball 以及 ngx_lua
官方 git 仓库里的最新版本，同时链接最新的 LuaJIT v2.1.

从代码上看，貌似也不应该出现此种情况，毕竟在 ngx_lua 的上下文中，参与 ngx_http_proxy_merge_loc_conf
的两个 loc_conf 结构都是通过 module->create_loc_conf() 回调全新创建的，不应该存在对同一个
loc_conf 进行多次 merge 的情况。

你使用的是什么版本的 ngx_lua 模块？

Regards,
-agentzh

--

ywsample :)

ruoshan.huang

是不是prefix的配置和proxy_temp_path不一致? 对应于prefix就可以. sorry, 我没描述清楚.

对应你的测试环境, 你试一试这个:

proxy_temp_path /opt/nginx2/proxy_temp;

我在openresty1.7.2.1上也复现了; 编译nginx 1.6.1也复现了.

Good day!

ruoshan

2014-08-15 6:02 GMT+08:00 Yichun Zhang (agentzh) <age...@gmail.com>:

Hello!

On Thu, Aug 14, 2014 at 3:14 AM, Ruoshan Huang wrote:
> hi,
> 添加`proxy_temp_path`, 在使用`init_worker_by_lua`的情况下发生错误, 如下:
>
> 2014/08/14 17:32:32 [emerg] 78321#0: the path name "/usr/local/nginx/proxy_temp" in /usr/local/nginx/conf/nginx.conf:11 has the same name as default path, but the different levels, you need to define default path in http section
>
> 这个错误的配置如下:
>

很奇怪，我在我的 Linux x86_64 系统上尝试了你提供的这个 nginx 配置文件，无法复现你看到的错误（我也没看到任何错误）。我的
nginx -V 的输出如下：

nginx version: nginx/1.7.3
built by clang 3.4 (trunk 185600)
configure arguments: --prefix=/opt/nginx2 --with-debug
--with-http_stub_status_module
--add-module=/home/agentzh/git/lua-nginx-module
--add-module=/home/agentzh/git/lua-upstream-nginx-module
--with-cc=clang

我尽量和你的配置保持一致，但我的 clang 编译器的版本要旧一些。我使用的是 nginx 官方的源码 tarball 以及 ngx_lua
官方 git 仓库里的最新版本，同时链接最新的 LuaJIT v2.1.

从代码上看，貌似也不应该出现此种情况，毕竟在 ngx_lua 的上下文中，参与 ngx_http_proxy_merge_loc_conf
的两个 loc_conf 结构都是通过 module->create_loc_conf() 回调全新创建的，不应该存在对同一个
loc_conf 进行多次 merge 的情况。

你使用的是什么版本的 ngx_lua 模块？

Regards,
-agentzh

--

agentzh

Hello!

2014-08-14 20:20 GMT-07:00 Ruoshan Huang:
> 是不是prefix的配置和proxy_temp_path不一致? 对应于prefix就可以. sorry, 我没描述清楚.
> 对应你的测试环境, 你试一试这个:
>
>                proxy_temp_path /opt/nginx2/proxy_temp;
>

多谢报告！刚刚已经在 ngx_lua 模块的 git 仓库中修正了：

    https://github.com/openresty/lua-nginx-module/commit/da0ced8a4

这里出问题的原因是 ngx_proxy 模块会在它的 merge_loc_conf 回调中对 cf->cycle（具体来说则是
cf->cycle->paths）产生副作用。所以这里我们其实需要一个自己的 cf->cycle 副本，而不是直接复用当前的 cycle.

请尝试 ngx_lua 最新的 git master 分支。

Thanks!
-agentzh

jie123108

Hi，各位：

最近打算写个Nginx的下载文件的模块，由于后端使用的是专有的文件系统，只提供专用的open,read,write相关函数。所以无法实现一个xxx_pass之类的upstream模块。

那就只能提供一个普通的handler模块，边读文件边写。我试着这样实现：

if(i==0){

r->headers_out.status = rc;

r->headers_out.content_length_n = 100*1024*1024;

rc = ngx_http_send_header(r);

}

u_char buf[128];

ngx_memset(buf,'a'+i,sizeof(buf));

buf[99] = '\n';

buf[100] = '\0';

//循环读取及发送。

for(int i=0;i<1024*1024;i++){

ngx_chain_t* chain = ngx_http_chain_cons(r, buf, 100);

rc = ngx_http_output_filter(r, chain);

}

但是发现这样是无效的，似乎只有从handler中返回后，客户端才能收到数据。哪位大侠知道这种模块该怎么实现？或者有什么类似的模块可以参考？

另外，就算这种方式也效，有会有另外一个问题：文件比较大时（几百兆)客户端可能会接收很长时间，如果避免阻塞？

jie123108

agentzh

Hello!

2014-08-15 6:49 GMT-07:00 jie123108:
> 最近打算写个Nginx的下载文件的模块，由于后端使用的是专有的文件系统，只提供专用的open,read,write相关函数。所以无法实现一个xxx_pass之类的upstream模块。

这显然是一个糟糕的设计。文件系统的 API 无法实现非阻塞 I/O. 这意味着所有文件相关的系统调用都可能会阻塞 nginx
事件循环较长的时间，除非你使用 AIO（当然，AIO 在 Linux 上也有很多自己的限制和问题）。

正确的做法是让你的后端暴露 socket 或者 FIFO 接口。这样才容易和 epoll 这样的东西一起使用。

> 那就只能提供一个普通的handler模块，边读文件边写。我试着这样实现：
>

你这种做法是典型的阻塞式编程的方式。建议首先学习一下非阻塞 I/O 和严格流式处理模式下的编程模式。例如在 ngx_lua 模块中一般通过
ngx.print() 和 ngx.flush(true) 来实现向 http 下游的严格非缓冲的流式写。可以参考一下
ngx.flush(true) 的实现方式。对应的文档见

    https://github.com/openresty/lua-nginx-module#ngxflush

或许你完全可以用纯 Lua 来实现你这里的需求？编写 nginx C 模块要困难很多很多，同时也不见得效率上会更高。

>
> 但是发现这样是无效的，似乎只有从handler中返回后，客户端才能收到数据。 哪位大侠知道这种模块该怎么实现？或者有什么类似的模块可以参考？
> 另外，就算这种方式也效，有会有另外一个问题：文件比较大时（几百兆)客户端可能会接收很长时间，如果避免阻塞？
>

见上面的建议。这里应当实现为流式处理模式，即当下游写不动时，应当停止从上游继续读数据。你需要协调下游写和上游读之间的相对速度。否则的话，如果上游读取速度超过下游写出速度，你会在
nginx 一侧无限制地使用越来越大的内存来缓冲来不及写出的数据。

Regards,
-agentzh

jie123108

>你这种做法是典型的阻塞式编程的方式。建议首先学习一下非阻塞 I/O 和严格流式处理模式下的编程模式。例如在 ngx_lua 模块中一般通过

>ngx.print() 和 ngx.flush(true) 来实现向 http 下游的严格非缓冲的流式写。可以参考一下

>ngx.flush(true) 的实现方式。对应的文档见

>https://github.com/openresty/lua-nginx-module#ngxflush

>或许你完全可以用纯 Lua 来实现你这里的需求？编写 nginx C 模块要困难很多很多，同时也不见得效率上会更高。

好，我看下ngx_flush的实现，关于使用Lua实现应该也需要相应的Lua客户端的实现吧？并且是支持非阻塞的。

>见上面的建议。这里应当实现为流式处理模式，即当下游写不动时，应当停止从上游继续读数据。你需要协调下游写和上游读之间的相对速度。否则的话，如果上游读取速度>超过下游写出速度，你会在

>nginx 一侧无限制地使用越来越大的内存来缓冲来不及写出的数据。

的确是有这个问题，因为之前没有实现过这种类型的模块，所以在这方面没有经验。

看起来还是相办法提供lua的访问接口，然后使用lua实现比较方便些。非常感谢。

jie123108

agentzh

Hello!

2014-08-15 21:30 GMT-07:00 jie123108:
> 好，我看下ngx_flush的实现，关于使用Lua实现应该也需要相应的Lua客户端的实现吧？ 并且是支持非阻塞的。
>

当然不用专门的 Lua 客户端。ngx.flush() 和 ngx.print() 都是向下游吐 HTTP 协议的，它们直接使用的是
nginx 的基础设施，和你尝试编写的 nginx C 模块一样，只不过前者是经过比较充分的测试和调优的 :)

Regards,
-agentzh

jie123108

>> 好，我看下ngx_flush的实现，关于使用Lua实现应该也需要相应的Lua客户端的实现吧？并且是支持非阻塞的。

>当然不用专门的 Lua 客户端。ngx.flush() 和 ngx.print() 都是向下游吐 HTTP 协议的，它们直接使用的是

>nginx 的基础设施，和你尝试编写的 nginx C 模块一样，只不过前者是经过比较充分的测试和调优的 :)

不好意思，是我没讲清楚，我的意思是这个专有的文件系统需要提供lua的api函数(open,read,write等)。然后才能基于ngx_lua实现这样一个服务。所以实现lua的api函数会是下一步必须考虑的问题。

jie123108

agentzh

Hello!

2014-08-16 19:26 GMT-07:00 jie123108:
>
> 不好意思，是我没讲清楚，我的意思是这个专有的文件系统需要提供lua的api函数(open,read,write等)。然后才能基于ngx_lua实现这样一个服务。所以实现lua的api函数会是下一步必须考虑的问题。
>

这也不对。我先前已经指出这里直接暴露文件系统的接口本身是设计上的错误，因为在用户这一侧，普通文件相关的系统调用必然是阻塞模式的（除非你使用
AIO，但我说了 AIO 有 AIO 自己的问题）。正确的做法是改成暴露网络接口或 unix domain socket 接口。

Regards,
-agentzh

jie123108

>这也不对。我先前已经指出这里直接暴露文件系统的接口本身是设计上的错误，因为在用户这一侧，普通文件相关的系统调用必然是阻塞模式的（除非你使用

>AIO，但我说了 AIO 有 AIO 自己的问题）。正确的做法是改成暴露网络接口或 unix domain socket 接口。

OK，大概步骤我知道了。非常感谢耐心回复。

jie1...@gmail.com