请问在使用openresty开发项目过程中怎么调用Thirft协议的接口？

wang287611200 · 2015-11-24T17:27:01+00:00

1.OpenResty Con 2015大会后,看到agentzh的分享,坚持开发OpenResty这&#x...

请问在使用openresty开发项目过程中怎么调用Thirft协议的接口？

wang287611200

大家好！

目前我在开发一个新项目的时候需要调用Thirft协议的接口将自定义日志写入到本机的flume日志收集器，请问有什么好方案么？

doujiang24

Hello，

在 2015年11月24日下午5:27， <wang28...@gmail.com>写道：

大家好！
目前我在开发一个新项目的时候需要调用Thirft协议的接口将自定义日志写入到本机的flume日志收集器，请问有什么好方案么？

貌似这两块都没有现成的库呢

如果做得话，估计你得基于 cosocket 实现 Thrift 协议

还得搞一个 lua-resty-flume 库

当然啦，如果能绕过这两个，Thrift 换成 http 之类的，那就更快了

--

wang287611200

恩，是的！需要基于cosocket开发，我看tirift的lua客户端代码是基于luasocket的！

https://github.com/apache/thrift/tree/master/lib/lua

在 2015年11月24日星期二 UTC+8下午11:23:15，doujiang写道：

Hello，

在 2015年11月24日下午5:27， <wang28...@gmail.com>写道：
大家好！
目前我在开发一个新项目的时候需要调用Thirft协议的接口将自定义日志写入到本机的flume日志收集器，请问有什么好方案么？

貌似这两块都没有现成的库呢

如果做得话，估计你得基于 cosocket 实现 Thrift 协议
还得搞一个 lua-resty-flume 库

当然啦，如果能绕过这两个，Thrift 换成 http 之类的，那就更快了

--

wd

flume 应该支持很多种的输入，比如 http 不过效率就不知道了。。

有个通过 socket 方式发日志的模块，我之前用他配合 flume 的 netcat 模式输入，发现丢数据。

后来用了个取巧的办法，每个 pid 都打开一个自己的文件来写。目前没发现什么问题。

2015-11-24 17:27 GMT+08:00 <wang28...@gmail.com>:

大家好！
目前我在开发一个新项目的时候需要调用Thirft协议的接口将自定义日志写入到本机的flume日志收集器，请问有什么好方案么？

--

stupidlw

在 2015年11月25日，上午10:41，wd <...@wdicc.com> 写道：

flume 应该支持很多种的输入，比如 http 不过效率就不知道了。。
有个通过 socket 方式发日志的模块，我之前用他配合 flume 的 netcat 模式输入，发现丢数据。

请问你说的是这个模块吗？

https://github.com/cloudflare/lua-resty-logger-socket

后来用了个取巧的办法，每个 pid 都打开一个自己的文件来写。目前没发现什么问题。

2015-11-24 17:27 GMT+08:00 <wang28...@gmail.com>:
大家好！
目前我在开发一个新项目的时候需要调用Thirft协议的接口将自定义日志写入到本机的flume日志收集器，请问有什么好方案么？

--
--

--
--

doujiang24

Hello,

在 2015年11月25日上午10:31， <wang28...@gmail.com>写道：

恩，是的！需要基于cosocket开发，我看tirift的lua客户端代码是基于luasocket的！

https://github.com/apache/thrift/tree/master/lib/lua

有这个基础，拿来改造一下，应该难度也不是很大

在 2015年11月24日星期二 UTC+8下午11:23:15，doujiang写道：
Hello，

在 2015年11月24日下午5:27， <wang28...@gmail.com>写道：
大家好！
目前我在开发一个新项目的时候需要调用Thirft协议的接口将自定义日志写入到本机的flume日志收集器，请问有什么好方案么？

貌似这两块都没有现成的库呢

如果做得话，估计你得基于 cosocket 实现 Thrift 协议
还得搞一个 lua-resty-flume 库

当然啦，如果能绕过这两个，Thrift 换成 http 之类的，那就更快了

--

--

wd

2015-11-25 10:45 GMT+08:00 liuwei <stu...@126.com>:

在 2015年11月25日，上午10:41，wd <...@wdicc.com> 写道：

flume 应该支持很多种的输入，比如 http 不过效率就不知道了。。
有个通过 socket 方式发日志的模块，我之前用他配合 flume 的 netcat 模式输入，发现丢数据。

请问你说的是这个模块吗？
https://github.com/cloudflare/lua-resty-logger-socket

是的，就是这个。这个之前 agentzh 说过，cloudflare 公司大量使用的。

后来用了个取巧的办法，每个 pid 都打开一个自己的文件来写。目前没发现什么问题。

2015-11-24 17:27 GMT+08:00 <wang28...@gmail.com>:
大家好！
目前我在开发一个新项目的时候需要调用Thirft协议的接口将自定义日志写入到本机的flume日志收集器，请问有什么好方案么？

--

--

--

wang287611200

请问有办法直接使用FFI 的方式调用C语言版本的Thrift的代码么？

Thrift协议C语言实现版本：https://github.com/apache/thrift/tree/master/lib/c_glib/src/thrift/c_glib

在 2015年11月24日星期二 UTC+8下午5:27:01，wang28...@gmail.com写道：

大家好！
目前我在开发一个新项目的时候需要调用Thirft协议的接口将自定义日志写入到本机的flume日志收集器，请问有什么好方案么？

agentzh

Hello!

2015-11-25 18:12 GMT+08:00  <wang28...@gmail.com>:
> 请问有办法直接使用FFI 的方式调用C语言版本的Thrift的代码么？
>
> Thrift协议C语言实现版本：https://github.com/apache/thrift/tree/master/lib/c_glib/src/thrift/c_glib
>

仔细你使用的这个第三方 C 库会阻塞在网络 I/O 上面，从而毁了 nginx 的并发性能。

Regards,
-agentzh

wang287611200

好的，感谢 agentzh！

在 2015年11月25日星期三 UTC+8下午6:14:27，agentzh写道：

Hello!

2015-11-25 18:12 GMT+08:00 <wang28...@gmail.com>:
> 请问有办法直接使用FFI 的方式调用C语言版本的Thrift的代码么？
>
> Thrift协议C语言实现版本：https://github.com/apache/thrift/tree/master/lib/c_glib/src/thrift/c_glib
>

仔细你使用的这个第三方 C 库会阻塞在网络 I/O 上面，从而毁了 nginx 的并发性能。

Regards,
-agentzh