请问有没有朋友遇到过使用openresty生产数据发送到kafka时,间歇性的遇到send timeout的情况,虽然不多,但是会有部分数据会丢失,发送失败在百分之1左右.目前我使用的库时https://github.com/doujiang24/lua-resty-kafka 这个库.
你可以检查网络是否足够稳定，比如是否在跨机房发送另外，你是有设置 error_handler 来处理发送失败呢https://github.com/doujiang24/lua-resty-kafka#restykafkaproducerChandler Zhou <chandl...@gmail.com> 于2020年2月25日周二 下午2:46写道：请问有没有朋友遇到过使用openresty生产数据发送到kafka时,间歇性的遇到send timeout的情况,虽然不多,但是会有部分数据会丢失,发送失败在百分之1左右.目前我使用的库时https://github.com/doujiang24/lua-resty-kafka 这个库.
同一个公司的机房, 基本上网络通讯没太大问题,目前的访问量是4w+/s, 失败率每五分钟 1k个左右error_handle 已经设置过, error_handle 失败重试也没用, 重发还是会失败.在 2020年2月26日星期三 UTC+8上午12:54:56，doujiang写道：你可以检查网络是否足够稳定，比如是否在跨机房发送另外，你是有设置 error_handler 来处理发送失败呢https://github.com/doujiang24/lua-resty-kafka#restykafkaproducerChandler Zhou <chandl...@gmail.com> 于2020年2月25日周二 下午2:46写道：请问有没有朋友遇到过使用openresty生产数据发送到kafka时,间歇性的遇到send timeout的情况,虽然不多,但是会有部分数据会丢失,发送失败在百分之1左右.目前我使用的库时https://github.com/doujiang24/lua-resty-kafka 这个库.
这个比较奇怪，你可以搞一个网络稳定的环境压测一下不？我之前压测过，生产也跑过比较大的量，没碰到过这个情况大概率还是网络的问题Chandler Zhou <chandl...@gmail.com> 于2020年2月28日周五 上午8:57写道：同一个公司的机房, 基本上网络通讯没太大问题,目前的访问量是4w+/s, 失败率每五分钟 1k个左右error_handle 已经设置过, error_handle 失败重试也没用, 重发还是会失败.在 2020年2月26日星期三 UTC+8上午12:54:56，doujiang写道：你可以检查网络是否足够稳定，比如是否在跨机房发送另外，你是有设置 error_handler 来处理发送失败呢https://github.com/doujiang24/lua-resty-kafka#restykafkaproducerChandler Zhou <chandl...@gmail.com> 于2020年2月25日周二 下午2:46写道：请问有没有朋友遇到过使用openresty生产数据发送到kafka时,间歇性的遇到send timeout的情况,虽然不多,但是会有部分数据会丢失,发送失败在百分之1左右.目前我使用的库时https://github.com/doujiang24/lua-resty-kafka 这个库.
重启完集群,一个错误都没有了....但是跑的时间一久,错误就上来了在 2020年2月28日星期五 UTC+8下午8:04:06，doujiang写道：这个比较奇怪，你可以搞一个网络稳定的环境压测一下不？我之前压测过，生产也跑过比较大的量，没碰到过这个情况大概率还是网络的问题Chandler Zhou <chandl...@gmail.com> 于2020年2月28日周五 上午8:57写道：同一个公司的机房, 基本上网络通讯没太大问题,目前的访问量是4w+/s, 失败率每五分钟 1k个左右error_handle 已经设置过, error_handle 失败重试也没用, 重发还是会失败.在 2020年2月26日星期三 UTC+8上午12:54:56，doujiang写道：你可以检查网络是否足够稳定，比如是否在跨机房发送另外，你是有设置 error_handler 来处理发送失败呢https://github.com/doujiang24/lua-resty-kafka#restykafkaproducerChandler Zhou <chandl...@gmail.com> 于2020年2月25日周二 下午2:46写道：请问有没有朋友遇到过使用openresty生产数据发送到kafka时,间歇性的遇到send timeout的情况,虽然不多,但是会有部分数据会丢失,发送失败在百分之1左右.目前我使用的库时https://github.com/doujiang24/lua-resty-kafka 这个库. tang 如果只是用传openresty的日志到kafka，其实在生产中还有一种方式，就是直接将日志落到本地文件，格式可以是json形式，然后用kafkacat把数据发送到kakfka，如果是想做对照测试，可以同时用resty-kafka和kafkacat一起对照传数据到kafaka。
这个比较奇怪，你可以搞一个网络稳定的环境压测一下不？我之前压测过，生产也跑过比较大的量，没碰到过这个情况大概率还是网络的问题Chandler Zhou <chandl...@gmail.com> 于2020年2月28日周五 上午8:57写道：同一个公司的机房, 基本上网络通讯没太大问题,目前的访问量是4w+/s, 失败率每五分钟 1k个左右error_handle 已经设置过, error_handle 失败重试也没用, 重发还是会失败.在 2020年2月26日星期三 UTC+8上午12:54:56，doujiang写道：你可以检查网络是否足够稳定，比如是否在跨机房发送另外，你是有设置 error_handler 来处理发送失败呢https://github.com/doujiang24/lua-resty-kafka#restykafkaproducerChandler Zhou <chandl...@gmail.com> 于2020年2月25日周二 下午2:46写道：请问有没有朋友遇到过使用openresty生产数据发送到kafka时,间歇性的遇到send timeout的情况,虽然不多,但是会有部分数据会丢失,发送失败在百分之1左右.目前我使用的库时https://github.com/doujiang24/lua-resty-kafka 这个库. tang 如果只是用传openresty的日志到kafka，其实在生产中还有一种方式，就是直接将日志落到本地文件，格式可以是json形式，然后用kafkacat把数据发送到kakfka，如果是想做对照测试，可以同时用resty-kafka和kafkacat一起对照传数据到kafaka。
如果只是用传openresty的日志到kafka，其实在生产中还有一种方式，就是直接将日志落到本地文件，格式可以是json形式，然后用kafkacat把数据发送到kakfka，如果是想做对照测试，可以同时用resty-kafka和kafkacat一起对照传数据到kafaka。
