nginx -lua io 阻塞cpu 100% 忙等

jianping.zhao82

hi : 春哥

有两个问题需要帮忙分析一下

1，cpu 忙等，

2，在使用nginx-systemtap-toolkit 时，安装systemtap2.3 依赖的 elfutils-0.156 ，总是在报“be64toh”

make[4]: Entering directory `/root/jianping.zhao/systemtap-2.3/build-elfutils/libdw'
gcc -D_GNU_SOURCE -DHAVE_CONFIG_H -DLOCALEDIR='"/usr/local/systemtap-2.3/share/locale"' -DIS_LIBDW -I. -I../../../elfutils-0.157/libdw -I.. -I. -I../../../elfutils-0.157/libdw -I../../../elfutils-0.157/lib -I.. -I../../../elfutils-0.157/libdw/../libelf -std=gnu99 -Wall -Wshadow -Werror -Wunused -Wextra -Wformat=2 -g -O2 -fstack-protector-all -D_FORTIFY_SOURCE=2 -fgnu89-inline -fexceptions -MT dwarf_begin_elf.o -MD -MP -MF .deps/dwarf_begin_elf.Tpo -c -o dwarf_begin_elf.o ../../../elfutils-0.157/libdw/dwarf_begin_elf.c
cc1: warnings being treated as errors
../../../elfutils-0.157/libdw/dwarf_begin_elf.c: In function ‘check_section’:
../../../elfutils-0.157/libdw/dwarf_begin_elf.c:282: 警告：隐式声明函数 ‘be64toh’
make[4]: *** [dwarf_begin_elf.o] 错误 1
make[4]: Leaving directory `/root/jianping.zhao/systemtap-2.3/build-elfutils/libdw'
make[3]: *** [all] 错误 2
make[3]: Leaving directory `/root/jianping.zhao/systemtap-2.3/build-elfutils/libdw'
make[2]: *** [all-recursive] 错误 1
make[2]: Leaving directory `/root/jianping.zhao/systemtap-2.3/build-elfutils'
make[1]: *** [all] 错误 2
make[1]: Leaving directory `/root/jianping.zhao/systemtap-2.3/build-elfutils'

配置参数：

./configure --with-elfutils=../elfutils-0.153/ --prefix=/usr/local/systemtap-2.3

cpu 忙等，

现在发现，nginx cup 有是会出现忙等。和磁盘busy 100% 的时正好可以对上。

如图：

io busy

每个峰值会造成nginx +lua 请求不响应约有3s

在lua 中使用ngx.log api 输出log 怀疑 log 输出阻塞了nginx 主线程

还有，在for 循环中使用的ngx.log debug 级别的log 输出在不输出日志的时候，是否会影响性能。

服务器信息：

Linux

2.6.18-164.el5

#1 SMP Thu Sep 3 03:28:30 EDT 2009

x86_64

nginx 信息：

sbin/nginx -V

nginx version: ngx_openresty/1.2.8.6

built by gcc 4.1.2 20080704 (Red Hat 4.1.2-46)

TLS SNI support disabled

configure arguments: --prefix=/usr/local/openresty/nginx --add-module=../ngx_devel_kit-0.2.18 --add-module=../echo-nginx-module-0.45 --add-module=../xss-nginx-module-0.03rc9 --add-module=../ngx_coolkit-0.2rc1 --add-module=../set-misc-nginx-module-0.22rc8 --add-module=../form-input-nginx-module-0.07 --add-module=../encrypted-session-nginx-module-0.03 --add-module=../srcache-nginx-module-0.21 --add-module=../ngx_lua-0.8.2 --add-module=../headers-more-nginx-module-0.20 --add-module=../array-var-nginx-module-0.03rc1 --add-module=../memc-nginx-module-0.13rc3 --add-module=../redis2-nginx-module-0.10 --add-module=../redis-nginx-module-0.3.6 --add-module=../auth-request-nginx-module-0.2 --add-module=../rds-json-nginx-module-0.12rc10 --add-module=../rds-csv-nginx-module-0.05rc2 --with-ld-opt=-Wl,-rpath,/usr/local/openresty/luajit/lib --with-http_ssl_module

agentzh

Hello!

On Wed, Dec 25, 2013 at 9:11 PM, jianping.zhao82 wrote:
> 2，在使用nginx-systemtap-toolkit 时，安装systemtap2.3 依赖的 elfutils-0.156 ，总是在报“be64toh”
>
[...]
> ../../../elfutils-0.157/libdw/dwarf_begin_elf.c:282: 警告：隐式声明函数 ‘be64toh’
>

这个 be64toh 函数是在 endian.h 头文件里定义的 BSD 系统上的标准函数。你可以尝试在 ./configure
时传入命令行选项  CFLAGS="-g -O2 -D_BSD_SOURCE"

我注意到你这里的 elfutils 的路径是 0.157 版的，而你开头说你尝试的是 0.156 版，而下面你提供的 ./configure
命令行又是指向的 0.153. 你究竟用的是什么版本？

我在我的 Fedora Linux 系统上使用 gcc 4.7.3 + systemtap 2.4 + elfutils 0.157
没有任何编译问题。都是从源码编译的。我使用的命令行是

    ./configure --disable-docs --disable-publican --disable-refdocs \
               CFLAGS="-g -O2" --with-elfutils=../elfutils-0.157

你可以尝试自己再加上 -D_BSD_SOURCE 这个 C 编译器选项。

[...]
> 配置参数：
>          ./configure --with-elfutils=../elfutils-0.153/ --prefix=/usr/local/systemtap-2.3
>

建议这里使用最新的 elfutils 0.157 和 systemtap 2.4 的源码发布包。

> cpu 忙等，
>
> 现在发现，nginx cup 有是会出现忙等。和磁盘busy 100% 的时正好可以对上。

你检查一下你的 nginx 错误日志文件里是否有大量的输出。刷错误日志是绝对的高代价操作，你应当修复错误消息指示的问题以及避免不必要的调试日志输出。

当然，确诊问题需要你提供实际采样 nginx worker 进程得到的 on-CPU 和 off-CPU 火焰图。

>
> 每个峰值会造成nginx +lua 请求不响应 约有3s
> 在lua 中使用ngx.log api 输出log  怀疑   log 输出阻塞了nginx 主线程
> 还有，在for 循环中使用的ngx.log   debug 级别的log 输出 在不输出日志的时候，是否会影响性能。
>

当你的 error_log 配置指令的过滤级别高于 debug 时，是不会产生任何文件操作的。当然，ngx.log()
函数本身多少还是有一些额外开销的，所以推荐总是用一个 Lua 标志变量对 ngx.log() 调用进行保护，例如

    if DEBUG then ngx.log(ngx.DEBUG, "something here: ", ...) end

这样当 DEBUG 为假时，ngx.log 这条代码路径都不会参与 LuaJIT 的 JIT 编译。

Regards,
-agentzh

jianping.zhao82

在 2013年12月27日星期五UTC+8上午4时37分43秒，agentzh写道：

Hello!

这个 be64toh 函数是在 endian.h 头文件里定义的 BSD 系统上的标准函数。你可以尝试在 ./configure
时传入命令行选项 CFLAGS="-g -O2 -D_BSD_SOURCE"

我在我的 Fedora Linux 系统上使用 gcc 4.7.3 + systemtap 2.4 + elfutils 0.157
没有任何编译问题。都是从源码编译的。我使用的命令行是

./configure --disable-docs --disable-publican --disable-refdocs \
CFLAGS="-g -O2" --with-elfutils=../elfutils-0.157

你可以尝试自己再加上 -D_BSD_SOURCE 这个 C 编译器选项。

[...]
> 配置参数：
> ./configure --with-elfutils=../elfutils-0.153/ --prefix=/usr/local/systemtap-2.3
>

建议这里使用最新的 elfutils 0.157 和 systemtap 2.4 的源码发布包。

你建议使用的flag 没作用。使用 elfutils 0.153 和 systemtap 2.1 编译通过，但是有toolkit 中的一些工具报错

你检查一下你的 nginx 错误日志文件里是否有大量的输出。刷错误日志是绝对的高代价操作，你应当修复错误消息指示的问题以及避免不必要的调试日志输出。

当然，确诊问题需要你提供实际采样 nginx worker 进程得到的 on-CPU 和 off-CPU 火焰图。

当你的 error_log 配置指令的过滤级别高于 debug 时，是不会产生任何文件操作的。当然，ngx.log()
函数本身多少还是有一些额外开销的，所以推荐总是用一个 Lua 标志变量对 ngx.log() 调用进行保护，例如

if DEBUG then ngx.log(ngx.DEBUG, "something here: ", ...) end

这样当 DEBUG 为假时，ngx.log 这条代码路径都不会参与 LuaJIT 的 JIT 编译。

按照你的建议使用的最新版本， ngx_openresty-1.4.3.9.tar.gz 中的ngx.config.debug 作为debug 判断依据，测试环境没有再发现磁盘 100%，cpu 100%wait 的情况，由于只对log 输出内容多的循环中的进行处理，现在仍有极个别的cpu 10% 的忙等。是否和log输出有关，需要看看火焰图了，.