怎么解压上传的zip文件

imfox.lin

各位好：

现在有一个需求，用户通过http请求上传压缩过的gzip日志文件，openresty需要解压这个文件，然后把里面的内容一行行读出来送到Elasticsearch建索引。

原来的想法是在openresty里使用lua把gzip文件存到本地，但是lua写文件是同步的，会阻塞nginx的事件调用

另外luajit没有zip模块，不能解压zip文件

不知道这种需求怎么用openresty解决？

谢谢大家~

ahlforslee

Hello,

碰巧看到一篇用OpenResty解决Gzip解压的方案：http://huoding.com/2013/09/02/283

Ahlfors

在 2016年5月13日星期五 UTC+8上午11:39:14，louis lin写道：

各位好：

现在有一个需求，用户通过http请求上传压缩过的gzip日志文件，openresty需要解压这个文件，然后把里面的内容一行行读出来送到Elasticsearch建索引。

原来的想法是在openresty里使用lua把gzip文件存到本地，但是lua写文件是同步的，会阻塞nginx的事件调用

另外luajit没有zip模块，不能解压zip文件

不知道这种需求怎么用openresty解决？

谢谢大家~

huang_hua2012

hello，

这么重量级的IO操作为什么不考虑移到后端做呢？

比如直接保存日志文件到指定目录，然后解压文件，logstash推送内容至ES

在 2016年5月13日，上午11:39，louis lin <imfo...@gmail.com> 写道：

各位好：

现在有一个需求，用户通过http请求上传压缩过的gzip日志文件，openresty需要解压这个文件，然后把里面的内容一行行读出来送到Elasticsearch建索引。

原来的想法是在openresty里使用lua把gzip文件存到本地，但是lua写文件是同步的，会阻塞nginx的事件调用

另外luajit没有zip模块，不能解压zip文件

不知道这种需求怎么用openresty解决？

谢谢大家~

--
--

imfox.lin

hello，这篇文章讲的是怎么解压gzip压缩的文本，不是文件~

在 2016年5月13日星期五 UTC+8上午11:52:53，Ahlfors Lee写道：

Hello,

碰巧看到一篇用OpenResty解决Gzip解压的方案：http://huoding.com/2013/09/02/283

Ahlfors

在 2016年5月13日星期五 UTC+8上午11:39:14，louis lin写道：
各位好：

现在有一个需求，用户通过http请求上传压缩过的gzip日志文件，openresty需要解压这个文件，然后把里面的内容一行行读出来送到Elasticsearch建索引。

原来的想法是在openresty里使用lua把gzip文件存到本地，但是lua写文件是同步的，会阻塞nginx的事件调用

另外luajit没有zip模块，不能解压zip文件

不知道这种需求怎么用openresty解决？

谢谢大家~

imfox.lin

因为这个需求是要做一个日志网关，所以尽量在一台服务器上做，nginx+tomcat就有点多余了。

因为openresty读写磁盘文件还是同步的，如果用go来实现是不是更好？go可以顶住10k QPS的访问量么，缺少go经验

谢谢~

在 2016年5月13日星期五 UTC+8下午12:09:22，Kwanhur Huang写道：

hello，

这么重量级的IO操作为什么不考虑移到后端做呢？
比如直接保存日志文件到指定目录，然后解压文件，logstash推送内容至ES

在 2016年5月13日，上午11:39，louis lin <imfo...@gmail.com> 写道：

各位好：

现在有一个需求，用户通过http请求上传压缩过的gzip日志文件，openresty需要解压这个文件，然后把里面的内容一行行读出来送到Elasticsearch建索引。

原来的想法是在openresty里使用lua把gzip文件存到本地，但是lua写文件是同步的，会阻塞nginx的事件调用

另外luajit没有zip模块，不能解压zip文件

不知道这种需求怎么用openresty解决？

谢谢大家~

--

yuansheng

2016-05-13 11:39 GMT+08:00 louis lin <imfo...@gmail.com>:

各位好：

现在有一个需求，用户通过http请求上传压缩过的gzip日志文件，openresty需要解压这个文件，然后把里面的内容一行行读出来送到Elasticsearch建索引。

原来的想法是在openresty里使用lua把gzip文件存到本地，但是lua写文件是同步的，会阻塞nginx的事件调用

另外luajit没有zip模块，不能解压zip文件

这里可以让文件不落地，直接在内存中完成解压，然后丢给后端服务。

具体可以参考 ffi 示例：

http://luajit.org/ext_ffi_tutorial.html

不知道这种需求怎么用openresty解决？

谢谢大家~

--

YuanSheng Wang

---------------------------------------

My Github: https://github.com/membphis

OpenResty lover ^_^