openresty is blocked

hsl4235 · 2018-02-24T10:46:28+00:00

已经解决设置 resolver 127.0.0.11 ，docker 默认的dns

openresty is blocked

hsl4235

Hi:

最近遇到一个比较奇怪的问题，openresty 在做反向代理的时候，隔一段时间会被blocked，现象是

第一张图是带宽图，第二张是可用内存图，第三张是负载的图，发现当每次内存释放的时候，nginx就会被blocked，感觉像是被磁盘的阻塞住，查了一些资料，当系统在回收内存的时候，会大量的写入，于是我调整了些系统被配置，vm.dirty_ratio = 2，vm.dirty_background_ratio = 1，vm.swappiness = 60，貌似并没有减轻这个问题。nginx是否有控制内存使用的方式，减少对内存的使用，从而避免系统的频繁回收内存？

zchao1995

Hi!

系统负载高的时刻，有观察过是什么进程占用 CPU 高吗？

另外如果因为是 openresty/nginx 服务本身负载变高，那消耗内存肯定也会上去的。

nginx 本身的内存池设计是比较良好的，应该不至于因为内存回收而导致负载变高。

hsl4235

当时观察都是nginx的进程cpu百分百了。

nginx D 0000000000000004 0 30562 30555 0x00000080

ffff88201f589c98 0000000000000086 0000000000000000 0000000000000000

0000000000000000 0000000000000000 0000000000000000 ffff88201f589e58

ffff8820280bfaf8 ffff88201f589fd8 000000000000fbc8 ffff8820280bfaf8

Call Trace:

[<ffffffff8152907e>] __mutex_lock_slowpath+0x13e/0x180

[<ffffffff81528f1b>] mutex_lock+0x2b/0x50

[<ffffffff81121fd1>] generic_file_aio_write+0x71/0x100

[<ffffffffa008cfd8>] ext4_file_write+0x58/0x190 [ext4]

[<ffffffff811d0a62>] ? ep_send_events_proc+0x72/0x110

[<ffffffff81188c7a>] do_sync_write+0xfa/0x140

[<ffffffff8109b2a0>] ? autoremove_wake_function+0x0/0x40

[<ffffffff812334eb>] ? selinux_file_permission+0xfb/0x150

[<ffffffff812263c6>] ? security_file_permission+0x16/0x20

[<ffffffff81188f78>] vfs_write+0xb8/0x1a0

[<ffffffff81189871>] sys_write+0x51/0x90

[<ffffffff810e1e5e>] ? __audit_syscall_exit+0x25e/0x290

[<ffffffff8100b072>] system_call_fastpath+0x16/0x1b

INFO: task nginx:30564 blocked for more than 120 seconds.

Not tainted 2.6.32-431.el6.x86_64 #1

我在怀疑是不是这个参数的问题：

vm.min_free_kbytes = 262144

系统保留的内存太少。

在 2018年2月24日，上午10:56，tokers <zcha...@gmail.com> 写道：

Hi!

系统负载高的时刻，有观察过是什么进程占用 CPU 高吗？
另外如果因为是 openresty/nginx 服务本身负载变高，那消耗内存肯定也会上去的。
nginx 本身的内存池设计是比较良好的，应该不至于因为内存回收而导致负载变高。

--
--

zchao1995

当时 nginx 请求数和连接数有明显变化吗？

既然 CPU 跑满，在高负载的时候也可以用 perf record & report 看看当时 worker 里什么函数最热。也可以画下火焰图分析下。

hsl4235

我觉得这个问题应该根nginx关系不大， nginx被blocked住了，连接数接近掉光了，链接建立不起来，应该是无法分配内存的原因。

在 2018年2月24日，上午11:22，tokers <zcha...@gmail.com> 写道：

当时 nginx 请求数和连接数有明显变化吗？
既然 CPU 跑满，在高负载的时候也可以用 perf record & report 看看当时 worker 里什么函数最热。也可以画下火焰图分析下。

--
--

hsl4235

按照我的理解，系统在回收内存的时候，他是有水平线的， high， low， min，不是应该达到low的时候开始回收，但是应该只会收到high的吗？为什么看图形，一下子回收了那么多内存呢？

在 2018年2月24日，上午11:26，韩世林 <hsl...@gmail.com> 写道：

我觉得这个问题应该根nginx关系不大， nginx被blocked住了，连接数接近掉光了，链接建立不起来，应该是无法分配内存的原因。

在 2018年2月24日，上午11:22，tokers <zcha...@gmail.com> 写道：

当时 nginx 请求数和连接数有明显变化吗？
既然 CPU 跑满，在高负载的时候也可以用 perf record & report 看看当时 worker 里什么函数最热。也可以画下火焰图分析下。

--
--