Work进程无故exit?

wendal1985 · 2012-07-17T10:46:51+00:00

Hello! On Tue, Jul 17, 2012 at 9:50 PM, Veniamin Gvozdikov <g.ve...@googlemail.com> wrote: > > Is helps me. Please fix it on github: > > s...

Work进程无故exit?

wendal1985

不知道为啥,在log不时看到:

2012/07/17 10:42:59 [notice] 14771#0: signal 17 (SIGCHLD) received

2012/07/17 10:42:59 [alert] 14771#0: worker process 14981 exited on signal 9

2012/07/17 10:45:57 [notice] 14771#0: signal 17 (SIGCHLD) received

2012/07/17 10:45:57 [alert] 14771#0: worker process 15215 exited on signal 9

2012/07/17 10:45:57 [notice] 14771#0: start worker process 15411

这属于正常行为吗?

--
Wendal Chen
GuangDong China

wendal1985

内存用太多,被内核kill了 .............

2012/7/17 Wendal Chen <wend...@gmail.com>

不知道为啥,在log不时看到:

2012/07/17 10:42:59 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:42:59 [alert] 14771#0: worker process 14981 exited on signal 9

2012/07/17 10:45:57 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:45:57 [alert] 14771#0: worker process 15215 exited on signal 9
2012/07/17 10:45:57 [notice] 14771#0: start worker process 15411

这属于正常行为吗?

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

wendal1985

代码是这样的:

while true do

buf = _file:read(8192) -- _file的大小是2G, 机器的总内存是1G

if not buf then

break

end

ngx.print(buf)

ngx.flush(true) -- 我刚加上的代码,不加的话, nginx占用的内存会很快增大,然后被kill

end

是我用法错误呢? 还是一个Bug呢?

2012/7/17 Wendal Chen <wend...@gmail.com>

内存用太多,被内核kill了 .............

2012/7/17 Wendal Chen <wend...@gmail.com>

不知道为啥,在log不时看到:

2012/07/17 10:42:59 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:42:59 [alert] 14771#0: worker process 14981 exited on signal 9

2012/07/17 10:45:57 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:45:57 [alert] 14771#0: worker process 15215 exited on signal 9
2012/07/17 10:45:57 [notice] 14771#0: start worker process 15411

这属于正常行为吗?

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

fengmo.q

ngx.print应该仅仅是将buf挂载在r->out上面没有真正发出去这样的话内存就会一直涨 ;

ngx.flush会将out chain上面的buf发出去。

在 2012年7月17日上午11:45，Wendal Chen <wend...@gmail.com>写道：

代码是这样的:

while true do
buf = _file:read(8192) -- _file的大小是2G, 机器的总内存是1G

if not buf then
break
end

ngx.print(buf)
ngx.flush(true) -- 我刚加上的代码,不加的话, nginx占用的内存会很快增大,然后被kill
end

是我用法错误呢? 还是一个Bug呢?

2012/7/17 Wendal Chen <wend...@gmail.com>

内存用太多,被内核kill了 .............

2012/7/17 Wendal Chen <wend...@gmail.com>

不知道为啥,在log不时看到:

2012/07/17 10:42:59 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:42:59 [alert] 14771#0: worker process 14981 exited on signal 9

2012/07/17 10:45:57 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:45:57 [alert] 14771#0: worker process 15215 exited on signal 9
2012/07/17 10:45:57 [notice] 14771#0: start worker process 15411

这属于正常行为吗?

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

Jinglong
Software Engineer
Server Platforms Team at Taobao

wendal1985

我的需求是这样的:

一个文件头, 一个实际文件

需要作为一个整体对外传输/下载

因为没找到合并输出的api(nginx原生或者openresty),只好用lua分别读取,然后逐一输出

不知道各位是否有更好的解决方法?

在 2012年7月17日上午11:51，pengqi <fen...@gmail.com>写道：

ngx.print应该仅仅是将buf挂载在r->out上面没有真正发出去这样的话内存就会一直涨 ;
ngx.flush会将out chain上面的buf发出去。

在 2012年7月17日上午11:45，Wendal Chen <wend...@gmail.com>写道：

代码是这样的:

while true do
buf = _file:read(8192) -- _file的大小是2G, 机器的总内存是1G

if not buf then
break
end

ngx.print(buf)
ngx.flush(true) -- 我刚加上的代码,不加的话, nginx占用的内存会很快增大,然后被kill
end

是我用法错误呢? 还是一个Bug呢?

2012/7/17 Wendal Chen <wend...@gmail.com>

内存用太多,被内核kill了 .............

2012/7/17 Wendal Chen <wend...@gmail.com>

不知道为啥,在log不时看到:

2012/07/17 10:42:59 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:42:59 [alert] 14771#0: worker process 14981 exited on signal 9

2012/07/17 10:45:57 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:45:57 [alert] 14771#0: worker process 15215 exited on signal 9
2012/07/17 10:45:57 [notice] 14771#0: start worker process 15411

这属于正常行为吗?

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

class="HOEnZb">

--

Jinglong
Software Engineer
Server Platforms Team at Taobao

--
Wendal Chen
GuangDong China

wendal1985

春哥,给点建议嘛

在 2012年7月17日上午11:56，Wendal Chen <wend...@gmail.com>写道：

我的需求是这样的:
一个文件头, 一个实际文件

需要作为一个整体对外传输/下载

因为没找到合并输出的api(nginx原生或者openresty),只好用lua分别读取,然后逐一输出

不知道各位是否有更好的解决方法?

在 2012年7月17日上午11:51，pengqi <fen...@gmail.com>写道：

ngx.print应该仅仅是将buf挂载在r->out上面没有真正发出去这样的话内存就会一直涨 ;
ngx.flush会将out chain上面的buf发出去。

在 2012年7月17日上午11:45，Wendal Chen <wend...@gmail.com>写道：

代码是这样的:

while true do
buf = _file:read(8192) -- _file的大小是2G, 机器的总内存是1G

if not buf then
break
end

ngx.print(buf)
ngx.flush(true) -- 我刚加上的代码,不加的话, nginx占用的内存会很快增大,然后被kill
end

是我用法错误呢? 还是一个Bug呢?

2012/7/17 Wendal Chen <wend...@gmail.com>

内存用太多,被内核kill了 .............

2012/7/17 Wendal Chen <wend...@gmail.com>

不知道为啥,在log不时看到:

2012/07/17 10:42:59 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:42:59 [alert] 14771#0: worker process 14981 exited on signal 9

2012/07/17 10:45:57 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:45:57 [alert] 14771#0: worker process 15215 exited on signal 9
2012/07/17 10:45:57 [notice] 14771#0: start worker process 15411

这属于正常行为吗?

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--

Jinglong
Software Engineer
Server Platforms Team at Taobao

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

kindy61

貌似暂时还没有好办法呀。

还没有流式输出文件的内部接口。

也许可以搞个 ngx.sendfiles 。

2012/7/18 Wendal Chen <wend...@gmail.com>

春哥,给点建议嘛

在 2012年7月17日上午11:56，Wendal Chen <wend...@gmail.com>写道：

我的需求是这样的:
一个文件头, 一个实际文件

需要作为一个整体对外传输/下载

因为没找到合并输出的api(nginx原生或者openresty),只好用lua分别读取,然后逐一输出

不知道各位是否有更好的解决方法?

在 2012年7月17日上午11:51，pengqi <fen...@gmail.com>写道：

ngx.print应该仅仅是将buf挂载在r->out上面没有真正发出去这样的话内存就会一直涨 ;
ngx.flush会将out chain上面的buf发出去。

在 2012年7月17日上午11:45，Wendal Chen <wend...@gmail.com>写道：

代码是这样的:

while true do
buf = _file:read(8192) -- _file的大小是2G, 机器的总内存是1G

if not buf then
break
end

ngx.print(buf)
ngx.flush(true) -- 我刚加上的代码,不加的话, nginx占用的内存会很快增大,然后被kill
end

是我用法错误呢? 还是一个Bug呢?

2012/7/17 Wendal Chen <wend...@gmail.com>

内存用太多,被内核kill了 .............

2012/7/17 Wendal Chen <wend...@gmail.com>

不知道为啥,在log不时看到:

2012/07/17 10:42:59 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:42:59 [alert] 14771#0: worker process 14981 exited on signal 9

2012/07/17 10:45:57 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:45:57 [alert] 14771#0: worker process 15215 exited on signal 9
2012/07/17 10:45:57 [notice] 14771#0: start worker process 15411

这属于正常行为吗?

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--

Jinglong
Software Engineer
Server Platforms Team at Taobao

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--

林青(Kindy Lin)

kindy61

不过，使用 ngx.flush(true) 的代码应该已经实现了你的需求吧，

虽然方法不够精致，但功能是没问题的。

并且这个做法本身也是非阻塞的 (ngx.flush 会自动让阻塞的输出变成非阻塞的，直到内容都输出后才返回)

2012/7/18 kindy <kin...@gmail.com>

貌似暂时还没有好办法呀。
还没有流式输出文件的内部接口。
也许可以搞个 ngx.sendfiles 。

2012/7/18 Wendal Chen <wend...@gmail.com>

春哥,给点建议嘛

在 2012年7月17日上午11:56，Wendal Chen <wend...@gmail.com>写道：

我的需求是这样的:
一个文件头, 一个实际文件

需要作为一个整体对外传输/下载

因为没找到合并输出的api(nginx原生或者openresty),只好用lua分别读取,然后逐一输出

不知道各位是否有更好的解决方法?

在 2012年7月17日上午11:51，pengqi <fen...@gmail.com>写道：

ngx.print应该仅仅是将buf挂载在r->out上面没有真正发出去这样的话内存就会一直涨 ;
ngx.flush会将out chain上面的buf发出去。

在 2012年7月17日上午11:45，Wendal Chen <wend...@gmail.com>写道：

代码是这样的:

while true do
buf = _file:read(8192) -- _file的大小是2G, 机器的总内存是1G

if not buf then
break
end

ngx.print(buf)
ngx.flush(true) -- 我刚加上的代码,不加的话, nginx占用的内存会很快增大,然后被kill
end

是我用法错误呢? 还是一个Bug呢?

2012/7/17 Wendal Chen <wend...@gmail.com>

内存用太多,被内核kill了 .............

2012/7/17 Wendal Chen <wend...@gmail.com>

不知道为啥,在log不时看到:

2012/07/17 10:42:59 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:42:59 [alert] 14771#0: worker process 14981 exited on signal 9

2012/07/17 10:45:57 [notice] 14771#0: signal 17 (SIGCHLD) received
2012/07/17 10:45:57 [alert] 14771#0: worker process 15215 exited on signal 9
2012/07/17 10:45:57 [notice] 14771#0: start worker process 15411

这属于正常行为吗?

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--

Jinglong
Software Engineer
Server Platforms Team at Taobao

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

--

林青(Kindy Lin)

--

林青(Kindy Lin)

agentzh

Hello!

2012/7/16 Wendal Chen <wend...@gmail.com>:
>
> 不知道为啥,在log不时看到:
>
> 2012/07/17 10:42:59 [notice] 14771#0: signal 17 (SIGCHLD) received
> 2012/07/17 10:42:59 [alert] 14771#0: worker process 14981 exited on signal 9
>
> 2012/07/17 10:45:57 [notice] 14771#0: signal 17 (SIGCHLD) received
> 2012/07/17 10:45:57 [alert] 14771#0: worker process 15215 exited on signal 9
> 2012/07/17 10:45:57 [notice] 14771#0: start worker process 15411
>
>
> 这属于正常行为吗?
>


这个行为不正常，你能用 gdb 等工具取得 worker 进程崩溃时的 backtrace 么？具体步骤可以参见这段文档：

    http://wiki.nginx.org/Debugging#Core_dump

Best regards,
-agentzh

wendal1985

@agentzh 已经确认是占用内存太多,被内核kill掉

ngx.flush(true)是阻塞的, 虽然满足功能需求,但不太完美

在 2012年7月18日上午11:54，agentzh <age...@gmail.com>写道：

Hello!

2012/7/16 Wendal Chen <wend...@gmail.com>:

>
> 不知道为啥,在log不时看到:
>
> 2012/07/17 10:42:59 [notice] 14771#0: signal 17 (SIGCHLD) received
> 2012/07/17 10:42:59 [alert] 14771#0: worker process 14981 exited on signal 9
>
> 2012/07/17 10:45:57 [notice] 14771#0: signal 17 (SIGCHLD) received
> 2012/07/17 10:45:57 [alert] 14771#0: worker process 15215 exited on signal 9
> 2012/07/17 10:45:57 [notice] 14771#0: start worker process 15411
>
>
> 这属于正常行为吗?
>

这个行为不正常，你能用 gdb 等工具取得 worker 进程崩溃时的 backtrace 么？具体步骤可以参见这段文档：

http://wiki.nginx.org/Debugging#Core_dump

Best regards,
-agentzh

--
Wendal Chen
GuangDong China

agentzh

Hello!

2012/7/16 Wendal Chen <wend...@gmail.com>:
> 代码是这样的:
>
>         while true do
>             buf = _file:read(8192) -- _file的大小是2G, 机器的总内存是1G
>             if not buf then
>                 break
>             end
>             ngx.print(buf)
>             ngx.flush(true) -- 我刚加上的代码,不加的话, nginx占用的内存会很快增大,然后被kill
>         end
>
> 是我用法错误呢? 还是一个Bug呢?
>

这个用法是正确的。有下面几个建议：

1. 使用 ngx_openresty 1.2.1.x 版本，nginx 1.2.x 核心相比 1.0.x 修正了耗时请求内部的一些内存泄漏问题
2. 可以调整 Lua GC 选项，见
http://www.lua.org/manual/5.1/manual.html#pdf-collectgarbage 以便让 Lua
VM 更频繁地执行 GC 操作。
3. 如果尚未使用 LuaJIT 2.0 的话，建议启用之，因为更省内存。
4. 请使用 ps 等工具监视 nginx worker 进程的内存变化。话说，你具体是如何测试的呢？并发请求有多少？
5. 减小块的大小，比如从目前的 8K 降到 4K.

Best regards,
-agentzh

agentzh

Hello!

2012/7/17 Wendal Chen <wend...@gmail.com>:
> @agentzh 已经确认是占用内存太多,被内核kill掉
>
> ngx.flush(true)是阻塞的, 虽然满足功能需求,但不太完美
>

ngx.flush(true) 是*同步非阻塞*的;这个接口就是为严格的流式输出而生的。我不明白你说的“不太完美”具体是指什么。

更多细节可以参考官方文档：

    http://wiki.nginx.org/HttpLuaModule#ngx.flush

Best regards,
-agentzh

wendal1985

1. 已经是openresty最新版 1.2.x系列的

2. 我试试gc选项

3. 已经是luajit

4. 并发? 最高值仅3个客户端,单线程访问

5. 块大小, 不受影响吧

ngx.flush是我后面加上的, 是没办法的办法, 我并不需要"严格的流式输出", 我仅仅是把2个文件合并输出

我不加上ngx.flush(true), nginx占用的内存就迅速增大, 耗尽可用内存,然后被内核kill掉

在 2012年7月18日下午12:03，agentzh <age...@gmail.com>写道：

Hello!

2012/7/17 Wendal Chen <wend...@gmail.com>:
> @agentzh 已经确认是占用内存太多,被内核kill掉
>
> ngx.flush(true)是阻塞的, 虽然满足功能需求,但不太完美
>

ngx.flush(true) 是*同步非阻塞*的;这个接口就是为严格的流式输出而生的。我不明白你说的“不太完美”具体是指什么。

更多细节可以参考官方文档：

http://wiki.nginx.org/HttpLuaModule#ngx.flush

Best regards,
-agentzh

--
Wendal Chen
GuangDong China

agentzh

Hello!

2012/7/17 Wendal Chen <wend...@gmail.com>:
> 1. 已经是openresty最新版 1.2.x系列的
> 2. 我试试gc选项
> 3. 已经是luajit
> 4. 并发? 最高值仅3个客户端,单线程访问

目前 nginx worker 的内存变化是怎样的？

> 5. 块大小, 不受影响吧
>

块大小影响大并发下的总的内存占用。既然你只有 3 个并发，则 8K 与 4K 便不会有什么区别。

> ngx.flush是我后面加上的, 是没办法的办法, 我并不需要"严格的流式输出", 我仅仅是把2个文件合并输出
> 我不加上ngx.flush(true), nginx占用的内存就迅速增大, 耗尽可用内存,然后被内核kill掉
>

在你只有 1GB 物理内存的机器上输出 2GB
的文件，当然需要严格的流式输出，否则当下游写得慢一点点，来自上游（在这里是文件）的数据便会在内存中迅速积压，很快就能耗尽你的内存。

Regards,
-agentzh

wendal1985

在 2012年7月18日下午12:22，agentzh <age...@gmail.com>写道：

Hello!

2012/7/17 Wendal Chen <wend...@gmail.com>:

> 1. 已经是openresty最新版 1.2.x系列的
> 2. 我试试gc选项
> 3. 已经是luajit
> 4. 并发? 最高值仅3个客户端,单线程访问

目前 nginx worker 的内存变化是怎样的？

> 5. 块大小, 不受影响吧
>

块大小影响大并发下的总的内存占用。既然你只有 3 个并发，则 8K 与 4K 便不会有什么区别。

> ngx.flush是我后面加上的, 是没办法的办法, 我并不需要"严格的流式输出", 我仅仅是把2个文件合并输出
> 我不加上ngx.flush(true), nginx占用的内存就迅速增大, 耗尽可用内存,然后被内核kill掉
>

在你只有 1GB 物理内存的机器上输出 2GB
的文件，当然需要严格的流式输出，否则当下游写得慢一点点，来自上游（在这里是文件）的数据便会在内存中迅速积压，很快就能耗尽你的内存。

恩, 那看来就是这个原因了

现在有API可用控制缓冲区的大小吗?

Regards,
-agentzh

--
Wendal Chen
GuangDong China

wendal1985

9666 root 20 0 581m 576m 924 D 9 29.1 1:20.58 nginx

暴涨,嘿嘿

在 2012年7月18日下午12:47，Wendal Chen <wend...@gmail.com>写道：

在 2012年7月18日下午12:22，agentzh <age...@gmail.com>写道：

Hello!

2012/7/17 Wendal Chen <wend...@gmail.com>:

> 1. 已经是openresty最新版 1.2.x系列的
> 2. 我试试gc选项
> 3. 已经是luajit
> 4. 并发? 最高值仅3个客户端,单线程访问

目前 nginx worker 的内存变化是怎样的？

> 5. 块大小, 不受影响吧
>

块大小影响大并发下的总的内存占用。既然你只有 3 个并发，则 8K 与 4K 便不会有什么区别。

> ngx.flush是我后面加上的, 是没办法的办法, 我并不需要"严格的流式输出", 我仅仅是把2个文件合并输出
> 我不加上ngx.flush(true), nginx占用的内存就迅速增大, 耗尽可用内存,然后被内核kill掉
>

在你只有 1GB 物理内存的机器上输出 2GB
的文件，当然需要严格的流式输出，否则当下游写得慢一点点，来自上游（在这里是文件）的数据便会在内存中迅速积压，很快就能耗尽你的内存。

恩, 那看来就是这个原因了

现在有API可用控制缓冲区的大小吗?

Regards,
-agentzh

--
Wendal Chen
GuangDong China

--
Wendal Chen
GuangDong China

agentzh

Hello!

2012/7/17 Wendal Chen <wend...@gmail.com>:
>> 在你只有 1GB 物理内存的机器上输出 2GB
>> 的文件，当然需要严格的流式输出，否则当下游写得慢一点点，来自上游（在这里是文件）的数据便会在内存中迅速积压，很快就能耗尽你的内存。
>>
> 恩, 那看来就是这个原因了
>
> 现在有API可用控制缓冲区的大小吗?
>

你指的是哪一级的缓冲区？对于 nginx 的响应体数据输出其实有很多级 buffer. 当下一级 buffer 写满之后，就会在上一级
buffer 缓冲。如果你想控制 buffer 上限，最有效的做法就是使用 ngx.flush(true)，只有适时地让你的 Lua
代码执行流暂时“停”下来，等一等，才有可能限制上游数据源向下游不停地灌数据。

Regards,
-agentzh

agentzh

Hello!

2012/7/17 Wendal Chen <wend...@gmail.com>:
> 9666 root      20   0  581m 576m  924 D    9 29.1   1:20.58 nginx
>
> 暴涨,嘿嘿
>

请确保你的 nginx 配置文件中有这么一行：

    lua_http10_buffering off;

否则 ngx_lua 默认会自动针对 HTTP 1.0 请求启用全缓存模式。

Best regards,
-agentzh