现在有没有简单的方法处理multipart/form-data表单？

r

查了半天，好像只能使用upload模块来处理上传的文件。

实际使用中不是很方便，有更好的方法吗？

agentzh

Hello!

On Wed, Sep 11, 2013 at 7:18 AM, Guichao Cai wrote:
> 查了半天，好像只能使用upload模块来处理上传的文件。
> 实际使用中不是很方便， 有更好的方法吗？
>

你可以自己在 lua-resty-upload 模块之上再进行封装。

lua-resty-upload 暴露的是流式处理的 API，使用上才不是那么傻瓜。毕竟一般上传的文件可能很大，我们应当尽量避免在内存中缓存过多的上传数据。

Regards,
-agentzh

xinqiyang

这个问题我也困扰了好久,就动手写了.....

代码在这里

https://github.com/xinqiyang/yagami..ko/blob/master/yagami/luasrc/yagami/util.lua

这个方法,可以获取request 中请求的 args,header,filebody

function init_args()

用这个方法,就可以直接拿到 multipart/form-data 表单参数表 args 现在支持post,get 方法,其他的你可以自己加.. 还有header头, 还有如果有上传文件,可以直接读取到bodydata( key是上传的字段名字, value是上传内容) 我这里下面的例子是直接取得内容后写入文件的....curl 命令下测试结果 md5是一样的....

local args,header,bodydata = util.init_args()

--ngx.log(ngx.DEBUG,util.table_print(args))

--ngx.log(ngx.DEBUG,util.table_print(header))

--ngx.log(ngx.DEBUG,bodydata)

--local filebody = util.explode(bodydata,"\r\n\r\n")

--ngx.log(ngx.DEBUG,util.table_print(bodydata))

for key,value in pairs(bodydata) do

local rowfile = util.explode(value,"\r\n\r\n")

--ngx.log(ngx.DEBUG,util.table_print(rowfile))

local file = io.open(rowfile[1], "w")

file:write(rowfile[2])

--ngx.log(ngx.DEBUG,rowfile[2])

file:close()

end

希望能帮到大家啊......我之前也请教了 agentzh , wendal 等......最后还是看到网上一个哥们实现了http://blog.csdn.net/cfeibiao/article/details/8315302 不过还是有点问题,我就修复了下..

在我这里测试通过的. 代码里面有注释的部分,如果不直接处理就解开注释啊...可以在往后端发送请求....当然看自己的需求了.

我用的是最新的 1.4 的开发版openresty.......

openresty 很给力啊...很多地方自己动手,还是很赞的...........

2013/9/12 Yichun Zhang (agentzh) <age...@gmail.com>

Hello!

On Wed, Sep 11, 2013 at 7:18 AM, Guichao Cai wrote:
> 查了半天，好像只能使用upload模块来处理上传的文件。
> 实际使用中不是很方便，有更好的方法吗？
>

你可以自己在 lua-resty-upload 模块之上再进行封装。

lua-resty-upload 暴露的是流式处理的 API，使用上才不是那么傻瓜。毕竟一般上传的文件可能很大，我们应当尽量避免在内存中缓存过多的上传数据。

Regards,
-agentzh

--

xinqiyang

agentzh

Hello!

2013/9/11 XinQi Yang:
> 这个问题我也困扰了好久,就动手写了.....
> 代码在这里
https://github.com/xinqiyang/yagami..ko/blob/master/yagami/luasrc/yagami/util.lua
>
> 这个方法,可以获取request 中请求的 args,header,filebody
> function init_args()
>

貌似你这个是把请求体一下子全缓存在内存里面，而且还是一个 Lua 变量里面，这个对于大一点的文件上传，性能上真的吃不消啊。。。

当我看到你代码中的 body_data = fh:read("*a") 这一行时，我就崩溃了，呵呵。

Regards,
-agentzh

xinqiyang

我这边的需求基本上都是分块上传的.....

大文件上传基本上就走 resty.upload了....

对于写文件,纯粹是验证读取的数据体是否和本地传的一样..... lua 新手啊........

被鄙视了..................这几天对学习下语法去啊....

这里可以在优化下,按需调用了啊................如果不需要读取body的话,其实拿到 args ,header就足够了..

2013/9/12 Yichun Zhang (agentzh) <age...@gmail.com>

Hello!

2013/9/11 XinQi Yang:

> 这个问题我也困扰了好久,就动手写了.....
> 代码在这里
https://github.com/xinqiyang/yagami..ko/blob/master/yagami/luasrc/yagami/util.lua
>
> 这个方法,可以获取request 中请求的 args,header,filebody
> function init_args()
>

貌似你这个是把请求体一下子全缓存在内存里面，而且还是一个 Lua 变量里面，这个对于大一点的文件上传，性能上真的吃不消啊。。。

当我看到你代码中的 body_data = fh:read("*a") 这一行时，我就崩溃了，呵呵。

Regards,
-agentzh

--

xinqiyang

r

@agentzh

确实想要自己来写一个，本来计划写两个版本，一个简易版处理小型表单，一个基于upload模块的流式处理大文件。

现在想想，简易版的这个好像没什么必要。而且有两个疑问想请教（真的非常抱歉没有自己做测试）：

1. ngx.req.sock() 是请求发起就获取的吗？或者说：客户端提交一个表单，包含了文件， nginx是获取了所有的请求数据后交给lua处理，还是连接后直接交给了lua？我猜应该是后者，这样的话第一种小型表单就没什么意思了，因为不知道流有多大。

2. 基于upload的话，怎么处理文件才好呢？只想到一个写临时文件的办法。可以吗？或者有更好的办法？请指点下思路。。

3. “把请求体一下子全缓存在内存里面，而且还是一个 Lua 变量里面”，这个有点不理解，如果做全缓存的话，不放在lua变量里该用什么方法来处理？

@xinqiyang

谢谢～正在学习openresty，有代码做参考最好了，感谢。

在 2013年9月12日星期四UTC+8下午12时06分19秒，agentzh写道：

Hello!

2013/9/11 XinQi Yang:
> 这个问题我也困扰了好久,就动手写了.....
> 代码在这里
https://github.com/xinqiyang/yagami..ko/blob/master/yagami/luasrc/yagami/util.lua
>
> 这个方法,可以获取request 中请求的 args,header,filebody
> function init_args()
>

貌似你这个是把请求体一下子全缓存在内存里面，而且还是一个 Lua 变量里面，这个对于大一点的文件上传，性能上真的吃不消啊。。。

当我看到你代码中的 body_data = fh:read("*a") 这一行时，我就崩溃了，呵呵。

Regards,
-agentzh

agentzh

Hello!

2013/9/12 Guichao Cai:
> 1. ngx.req.sock() 是请求发起就获取的吗？ 或者说： 客户端提交一个表单， 包含了文件，
> nginx是获取了所有的请求数据后交给lua处理， 还是连接后直接交给了lua？ 我猜应该是后者， 这样的话第一种小型表单就没什么意思了，
> 因为不知道流有多大。

Nginx 核心不会主动去读请求体数据（不过，它可能在读取请求头的时候不小心预读了一小部分请求体数据到 header buffer
里面来）。所以当你使用 ngx.req.sock() 的时候，是你的 Lua 代码再从网络上主动拉数据，即拉请求体数据。

> 2. 基于upload的话， 怎么处理文件才好呢？  只想到一个写临时文件的办法。可以吗？或者有更好的办法？ 请指点下思路。。

有多种处理办法，比如

1. 从网络上读一块数据，就写一块数据到文件。数据块不宜过大，以免写文件时长时间阻塞 Nginx 的事件循环。这里的关键是让网络 IO
和文件 IO 尽可能多地重叠起来，这样可以提高吞吐能力、降低延时，还可以节约内存开销。

2. 或者直接通过 socket 把读到的请求体数据一块一块地发给一个专门负责写文件的后台服务。这样可以避免 Nginx
事件循环的阻塞，但多了一层复制和传递数据的开销。

> 3. “把请求体一下子全缓存在内存里面，而且还是一个 Lua 变量里面”，  这个有点不理解， 如果做全缓存的话，
> 不放在lua变量里该用什么方法来处理？
>

如果是全缓存的话，可以是 Nginx 全缓存在它自己的缓冲区里，或者缓存在它自己创建的临时文件中。

Best regards,
-agentzh

xinqiyang

对于一个请求而言...可以从header里面拿到content-length的吧...这个就知道请求的大小了!

对于get 请求,不是直接可以从ngx.var中拿到参数的值....

对于post请求,才需要自己手动去read吧.....

我现在的项目里也有文件上传的操作.....

做法和章哥说的一样...具体实现是:

1.上传头像的场景 . POST

现在的做法,实用resty.upload 拿到上传的图片,写入到本地文件.. 在resty.http POST文件到后端的 weedfs 小文件存储系统这个是之前的做法.

改进做法, 从请求中得到文件的实际数据流发送到后端的http存储服务,返回文件id给客户端.

改进做法, 直接在请求中,拨开含有数据流的内容,拼装成一个新的http请求,转发到后端...

想尝试下,章哥说的socket发送到后端的做法......... 关键还在于后端实用的存储系统的接收方式.

现在在测试改进的后2种做法....这些都是在 nginx.conf中配置post的大小到自己需要的大小,可以直接实用内存而避免io操作......

其实用ngx_lua的优势其实主要是想把东西都放到内存中操作,实现非阻塞...不然和其他的httpserver就没有啥区别了....

2.大文件上传,基本我现在的项目中..都是通过上传文件块来实现的... 这样可以断点续传...

post文件的 md5, filename, file_body, range: 0-8k 的做法....

2013/9/13 Yichun Zhang (agentzh) <age...@gmail.com>

Hello!

2013/9/12 Guichao Cai:

> 1. ngx.req.sock() 是请求发起就获取的吗？或者说：客户端提交一个表单，包含了文件，
> nginx是获取了所有的请求数据后交给lua处理，还是连接后直接交给了lua？我猜应该是后者，这样的话第一种小型表单就没什么意思了，
> 因为不知道流有多大。

Nginx 核心不会主动去读请求体数据（不过，它可能在读取请求头的时候不小心预读了一小部分请求体数据到 header buffer
里面来）。所以当你使用 ngx.req.sock() 的时候，是你的 Lua 代码再从网络上主动拉数据，即拉请求体数据。

> 2. 基于upload的话，怎么处理文件才好呢？只想到一个写临时文件的办法。可以吗？或者有更好的办法？请指点下思路。。

有多种处理办法，比如

1. 从网络上读一块数据，就写一块数据到文件。数据块不宜过大，以免写文件时长时间阻塞 Nginx 的事件循环。这里的关键是让网络 IO
和文件 IO 尽可能多地重叠起来，这样可以提高吞吐能力、降低延时，还可以节约内存开销。

2. 或者直接通过 socket 把读到的请求体数据一块一块地发给一个专门负责写文件的后台服务。这样可以避免 Nginx
事件循环的阻塞，但多了一层复制和传递数据的开销。

> 3. “把请求体一下子全缓存在内存里面，而且还是一个 Lua 变量里面”，这个有点不理解，如果做全缓存的话，
> 不放在lua变量里该用什么方法来处理？
>

如果是全缓存的话，可以是 Nginx 全缓存在它自己的缓冲区里，或者缓存在它自己创建的临时文件中。

Best regards,

-agentzh

--

xinqiyang

agentzh

Hello!

2013/9/12 XinQi Yang:
> 对于一个请求而言...可以从header里面拿到content-length的吧...这个就知道请求的大小了!
>

不幸的是，并不是所有带请求体的请求都有 Content-Length 请求头，比如那些使用了 chunked 传输编码的请求体。

> 对于get 请求,不是直接可以从ngx.var中拿到参数的值....
> 对于post请求,才需要自己手动去read吧.....
>

POST 请求其实也可以有 URL 参数 :)

>
> 其实用ngx_lua的优势其实主要是想把东西都放到内存中操作,实现非阻塞...不然和其他的httpserver就没有啥区别了....
>

把数据全都放在内存里倒并不一定好，可以在内存中进行流式操作，即无论数据流本身有多大，内存占用保持一个很小的常数。

Regards,
-agentzh

r

偷偷在工作时间写了个雏形，也不知道写的对不对，如果有错误，还请告诉我。

回头尝试下@xinqiyang说的断点续传，貌似很有趣。

https://gist.github.com/kran/6547178

> 对于post请求,才需要自己手动去read吧.....

非multipart/form-data表单好像也不需要， ngx.req.里有对应的方法。其他类型的post我没测试，回头多测测。

在 2013年9月13日星期五UTC+8上午10时35分01秒，agentzh写道：

Hello!

2013/9/12 XinQi Yang:
> 对于一个请求而言...可以从header里面拿到content-length的吧...这个就知道请求的大小了!
>

不幸的是，并不是所有带请求体的请求都有 Content-Length 请求头，比如那些使用了 chunked 传输编码的请求体。

> 对于get 请求,不是直接可以从ngx.var中拿到参数的值....
> 对于post请求,才需要自己手动去read吧.....
>

POST 请求其实也可以有 URL 参数 :)

>
> 其实用ngx_lua的优势其实主要是想把东西都放到内存中操作,实现非阻塞...不然和其他的httpserver就没有啥区别了....
>

把数据全都放在内存里倒并不一定好，可以在内存中进行流式操作，即无论数据流本身有多大，内存占用保持一个很小的常数。

Regards,
-agentzh