收到一个日志 attempt to send data on a closed socket

the.warl0ck.1989

Hi,

我在用 resty.memcached,

并发很大的时候收到这样一个错误，attempt to send data on a closed socket ，文件描述符已经开得很大 (200w)

看了 /proc/net/sockstat TCP socket只有不到 4.2w

实在不知道这个错误的来源；-(

agentzh

Hello!

2013/3/6 Aaron Lewis:
> 我在用 resty.memcached,
>
> 并发很大的时候收到这样一个错误，attempt to send data on a closed socket ，文件描述符已经开得很大 (200w)
>

你提供的这条错误消息不完整，漏掉了后面不少重要的信息。你应当把完整的那行原始日志贴出来，而不是自己进行编辑。

> 看了 /proc/net/sockstat TCP socket只有不到 4.2w
>
> 实在不知道这个错误的来源 ；-(
>

当 socket 操作失败（比如超时之类）后便会自动进入 closed 状态。你应当在你的 Lua 代码中总是对所有的
resty.memcached 对象的方法调用进行错误处理（即检查各方法的返回值），并在失败后进行重连操作（如果必要的话）。

一般 nginx 的错误日志文件会告诉你错误的来源，你可以查看最先出现的错误消息（即先于“attempt to send data on a
closed socket”打印出的错误消息）。

另外，你要避免在多个请求间共享一个 resty.memcached 对象（比如把对象保存在 Lua
模块级别的变量中）。你须确保每个请求都使用自己的 resty.memcached
实例，否则在并发较高时会出现访问冲突（有可能出现你看到的那条错误）。这在 lua-resty-memcached 的文档中也有明确说明：

    https://github.com/agentzh/lua-resty-memcached#limitations

最后，在报告问题时应总是主动提供相关软件的版本和操作系统的信息。比如 nginx、ngx_lua、lua-resty-memcached
这些东西的版本（如果你使用的是 ngx_openresty 软件包，提供软件包的版本就足够了），再比如是使用的 Linux 还是
FreeBSD 还是 Mac OS X 还是 Solaris 还是其他什么系统。养成这个好习惯很多时候可以节约很多时间。

Best regards,
-agentzh

the.warl0ck.1989

Hi,

感谢回复，OS 是 Linux, nginx 1.0.12, HttpLuaModule 0.7.15.

On Friday, March 8, 2013 4:31:44 AM UTC+8, agentzh wrote:

Hello!

2013/3/6 Aaron Lewis:
> 我在用 resty.memcached,
>
> 并发很大的时候收到这样一个错误，attempt to send data on a closed socket ，文件描述符已经开得很大 (200w)
>

你提供的这条错误消息不完整，漏掉了后面不少重要的信息。你应当把完整的那行原始日志贴出来，而不是自己进行编辑。

这个是完整的，

2013/03/06 10:47:05 [error] 32752#0: *7962 attempt to send data on a closed socket: u:0000000040D43848, c:0000000000000000, ft:2 eof:0, client: 127.0.0.1, server: _, request: "GET /restyp?count=1000000&start=4000000 HTTP/1.0", host: "127.0.0.1:9998"

> 看了 /proc/net/sockstat TCP socket只有不到 4.2w
>
> 实在不知道这个错误的来源；-(
>

当 socket 操作失败（比如超时之类）后便会自动进入 closed 状态。你应当在你的 Lua 代码中总是对所有的
resty.memcached 对象的方法调用进行错误处理（即检查各方法的返回值），并在失败后进行重连操作（如果必要的话）。

一般 nginx 的错误日志文件会告诉你错误的来源，你可以查看最先出现的错误消息（即先于“attempt to send data on a
closed socket”打印出的错误消息）。

另外，你要避免在多个请求间共享一个 resty.memcached 对象（比如把对象保存在 Lua
模块级别的变量中）。你须确保每个请求都使用自己的 resty.memcached
实例，否则在并发较高时会出现访问冲突（有可能出现你看到的那条错误）。这在 lua-resty-memcached 的文档中也有明确说明：

https://github.com/agentzh/lua-resty-memcached#limitations

木有共享 resty.memcached，每个线程都单独新建一个对象。

不过确实超时了；-（

我设置的是1秒钟

2013/03/06 10:47:05 [error] 32753#0: *8009 lua tcp socket read timed out, client: 127.0.0.1, server: _, request: "GET /restyp?count=1000000&start=0 HTTP/1.0", host: "127.0.0.1:9998"

P.S: perl 的 Cache::Memcached 就没有问题，可以高并发插入，不丢数据

最后，在报告问题时应总是主动提供相关软件的版本和操作系统的信息。比如 nginx、ngx_lua、lua-resty-memcached
这些东西的版本（如果你使用的是 ngx_openresty 软件包，提供软件包的版本就足够了），再比如是使用的 Linux 还是
FreeBSD 还是 Mac OS X 还是 Solaris 还是其他什么系统。养成这个好习惯很多时候可以节约很多时间。

恩谢谢提醒

Best regards,
-agentzh

agentzh

Hello!

2013/3/8 Aaron Lewis:
> 这个是完整的，
>
> 2013/03/06 10:47:05 [error] 32752#0: *7962 attempt to send data on a closed
> socket: u:0000000040D43848, c:0000000000000000, ft:2 eof:0, client:
> 127.0.0.1, server: _, request: "GET /restyp?count=1000000&start=4000000
> HTTP/1.0", host: "127.0.0.1:9998"

注意这里 ft:2 这个部分指示先前出现了致命错误，特别是 2 代表 NGX_HTTP_LUA_SOCKET_FT_TIMEOUT.

>
> 木有共享 resty.memcached，每个线程都单独新建一个对象。
>
> 不过确实超时了 ；-（
>
> 我设置的是1秒钟
>
> 2013/03/06 10:47:05 [error] 32753#0: *8009 lua tcp socket read timed out,
> client: 127.0.0.1, server: _, request: "GET /restyp?count=1000000&start=0
> HTTP/1.0", host: "127.0.0.1:9998"
>

看起来你的 memcached 服务器不能及时返回响应。

> P.S:  perl 的 Cache::Memcached 就没有问题，可以高并发插入，不丢数据
>

你用 perl 的 Cache::Memcached 插入时吞吐量（req/sec）能达到多少？并发又是多少？你是否在 Perl
代码里设置了相同的超时并进行了错误处理？

使用 lua-resty-memcached 插入时吞吐量又达到了多少？并发又是多少？

当二者吞吐量相差很大时，比较就没有意义。

Best regards,
-agentzh