tcpsock:receive()读取数据问题

pengsven · 2015-08-20T15:09:08+00:00

万分感谢，我先玩下试试在 2015年8月20日星期四 UTC+...

tcpsock:receive()读取数据问题

pengsven

当我使用tcpsock:receive(1024*1024*10)读取upstream数据时, 会出现大量的recvfrom调用, 是否可以在哪设置1次recvfrom中len的大小, 从而减小recvfrom的调用次数呢?

recvfrom(120, "\301\4\30\6\270\20\201\0!\203\0..., 4096, 0, NULL, NULL) = 4096

....................

recvfrom(120, "\332FnQ\21\315\321\272\246*"..., 4096, 0, NULL, NULL) = 4096

doujiang24

hi，

在 2015年8月20日下午3:09，ven <pen...@gmail.com>写道：

当我使用tcpsock:receive(1024*1024*10)读取upstream数据时, 会出现大量的recvfrom调用, 是否可以在哪设置1次recvfrom中len的大小, 从而减小recvfrom的调用次数呢?

你一次读取 10M 的数据，这个貌似不是很合理呀，最好还是流式的处理

recvfrom(120, "\301\4\30\6\270\20\201\0!\203\0..., 4096, 0, NULL, NULL) = 4096

这个 4k，来源于这个配置 [1]

因为 socket 的 buffer 只有 4k，所以每次从内核缓存区拿 4k（最多是这么多）哈哈，你可以改一个验证一下哈

1. http://wiki.nginx.org/HttpLuaModule#lua_socket_buffer_size

....................

recvfrom(120, "\332FnQ\21\315\321\272\246*"..., 4096, 0, NULL, NULL) = 4096

--

yuansheng_2f16

还有这么个配置参数，学习了。永远学不完啊。

2015-08-20 17:27 GMT+08:00 DeJiang Zhu <douj...@gmail.com>:

hi，

在 2015年8月20日下午3:09，ven <pen...@gmail.com>写道：
当我使用tcpsock:receive(1024*1024*10)读取upstream数据时, 会出现大量的recvfrom调用, 是否可以在哪设置1次recvfrom中len的大小, 从而减小recvfrom的调用次数呢?

你一次读取 10M 的数据，这个貌似不是很合理呀，最好还是流式的处理

recvfrom(120, "\301\4\30\6\270\20\201\0!\203\0..., 4096, 0, NULL, NULL) = 4096

这个 4k，来源于这个配置 [1]

因为 socket 的 buffer 只有 4k，所以每次从内核缓存区拿 4k（最多是这么多）哈哈，你可以改一个验证一下哈

1. http://wiki.nginx.org/HttpLuaModule#lua_socket_buffer_size

....................

recvfrom(120, "\332FnQ\21\315\321\272\246*"..., 4096, 0, NULL, NULL) = 4096

--

--

Membhis

My github: https://github.com/membphis

Our Book: OpenResty Best Practices

pengsven

已经设置了 lua_socket_buffer_size 256k; 没有用

2015-08-20 19:34 GMT+08:00 YuanSheng Wang <yuan...@iresty.org>:

还有这么个配置参数，学习了。永远学不完啊。

2015-08-20 17:27 GMT+08:00 DeJiang Zhu <douj...@gmail.com>:
hi，

在 2015年8月20日下午3:09，ven <pen...@gmail.com>写道：
当我使用tcpsock:receive(1024*1024*10)读取upstream数据时, 会出现大量的recvfrom调用, 是否可以在哪设置1次recvfrom中len的大小, 从而减小recvfrom的调用次数呢?

你一次读取 10M 的数据，这个貌似不是很合理呀，最好还是流式的处理

recvfrom(120, "\301\4\30\6\270\20\201\0!\203\0..., 4096, 0, NULL, NULL) = 4096

这个 4k，来源于这个配置 [1]

因为 socket 的 buffer 只有 4k，所以每次从内核缓存区拿 4k（最多是这么多）哈哈，你可以改一个验证一下哈

1. http://wiki.nginx.org/HttpLuaModule#lua_socket_buffer_size

....................

recvfrom(120, "\332FnQ\21\315\321\272\246*"..., 4096, 0, NULL, NULL) = 4096

--

--

--

Membhis
My github: https://github.com/membphis
Our Book: OpenResty Best Practices

--

agentzh

Hello!

On Fri, Aug 21, 2015 at 10:19 AM, sven peng wrote:
> 已经设置了 lua_socket_buffer_size 256k; 没有用
>

你确定你看到的“没有用”的系统调用确实是对应你的 cosocket 读取调用吗？也许是 nginx 核心读取请求头时的调用？或者是其他
nginx upstream 模块发起的调用？

lua_socket_buffer_size 只会控制 lua cosocket 的读取缓存区的大小。

Regards,
-agentzh

doujiang24

hi,

我改成 16k，得到如下测试结果

recvfrom(11, "HTTP/1.1 200 OK\r\nServer: openresty"..., 16384, 0, NULL, NULL) = 1717

recvfrom(11, " return NGX_ERROR;\n "..., 14667, 0, NULL, NULL) = 14480

recvfrom(11, 0x98b7f5, 187, 0, 0, 0) = -1 EAGAIN (Resource temporarily unavailable)

recvfrom(11, "ssureStatist()\n\n\n\n# -*- coding: "..., 187, 0, NULL, NULL) = 187

recvfrom(11, "TIME = \"2015-06-11 11:37:02\"\nINT"..., 16384, 0, NULL, NULL) = 16384

recvfrom(11, ") + INTERVAL\n\t\tst_time = time.lo"..., 16384, 0, NULL, NULL) = 16384

recvfrom(11, "me = time.strptime(END_TIME, \"%Y"..., 16384, 0, NULL, NULL) = 10485

recvfrom(11, 0x98a1a5, 5899, 0, 0, 0) = -1 EAGAIN (Resource temporarily unavailable)

2015-08-21 10:19 GMT+08:00 sven peng <pen...@gmail.com>:

已经设置了 lua_socket_buffer_size 256k; 没有用

2015-08-20 19:34 GMT+08:00 YuanSheng Wang <yuan...@iresty.org>:
还有这么个配置参数，学习了。永远学不完啊。

2015-08-20 17:27 GMT+08:00 DeJiang Zhu <douj...@gmail.com>:
hi，

在 2015年8月20日下午3:09，ven <pen...@gmail.com>写道：
当我使用tcpsock:receive(1024*1024*10)读取upstream数据时, 会出现大量的recvfrom调用, 是否可以在哪设置1次recvfrom中len的大小, 从而减小recvfrom的调用次数呢?

你一次读取 10M 的数据，这个貌似不是很合理呀，最好还是流式的处理

recvfrom(120, "\301\4\30\6\270\20\201\0!\203\0..., 4096, 0, NULL, NULL) = 4096

这个 4k，来源于这个配置 [1]

因为 socket 的 buffer 只有 4k，所以每次从内核缓存区拿 4k（最多是这么多）哈哈，你可以改一个验证一下哈

1. http://wiki.nginx.org/HttpLuaModule#lua_socket_buffer_size

....................

recvfrom(120, "\332FnQ\21\315\321\272\246*"..., 4096, 0, NULL, NULL) = 4096

--

--

--

Membhis
My github: https://github.com/membphis
Our Book: OpenResty Best Practices

--

--