[release] lua-resty-httpipe

timebug.info · 2014-04-20T00:19:02+00:00

Hello! 2014-04-19 0:09 GMT-07:00 Pahud Hsieh: > 大部分情況ngx_lua運行表現都是很&#...

[release] lua-resty-httpipe

timebug.info

去年写的一个 HTTP Client 库，现在开源出来分享给大家，我们在生产环境上已经跑了大半年了，但由于一直没空闲时间（懒），详细的测试用例还没来得及写 :-)

项目地址：https://github.com/timebug/lua-resty-httpipe

Q: 为什么又造了一个轮子？

A: 当初查看了几个 lua-resty-* HTTP Client 的实现，它们都没有暴露一个友好的 stream 形式的 reader 和 uploads 接口。

当然从现在来看 pintsized/lua-resty-http 这个库的实现其实挺符合当时的需求的，它提供了可迭代的 res.body_reader 对象：

local reader = res.body_reader

repeat
  local chunk, err = reader(8192)
  if err then
    ngx.log(ngx.ERR, err)
    break
  end

  if chunk then
    -- process
  end
until not chunk

以及可以将 reader 传到另外一个请求作为 body：

local client_body_reader, err = httpc:get_client_body_reader()

local res, err = httpc:request{
   path = "/helloworld",
   body = client_body_reader,
}

另外，值得一提的是，在接口设计上也比我自己那时实现的基于 callback 形式的要清晰地多。

Q: 会继续维护下去吗？还是一开源就不管了？

A: 会，管。欢迎大家提各种意见，尤其是 API 设计上，我自己目前也不是很满意。

-----

Any way, 虽然又是一个轮子，仍然希望能给大家带来一点点参考价值。

timebug.info

Hi, All

lua-resty-httpipe v0.04 Release!

https://github.com/timebug/lua-resty-httpipe

= ChangeLog v0.04 =

* new: 完全重新设计了 API 接口

* new: 增加了不少 Test::Nginx 测试 Case

= 关于新接口的设计 =

新版在 API 接口设计方面，很大程度上受到了 pintsized/lua-resty-http 和 openresty/lua-resty-upload 两个库的影响，同时结合了我们自己生产环境的业务特点（涉及很多大文件流式传输场景），在保持简洁和灵活性之间做了一定取舍。

因此，除了一些常规的使用方式外，你可以拿它这样用：

local cjson = require "cjson"
local httpipe = require "resty.httpipe"

local hp, err = httpipe:new(10) -- chunk_size = 10

hp:set_timeout(5 * 1000) -- 5 sec

local ok, err = hp:connect("127.0.0.1", 9090)
local ok, err = hp:send_request{ method = "GET", path = "/echo" }

-- full streaming parser

while true do
    local typ, res, err = hp:read()
    if not typ then
        ngx.say("failed to read: ", err)
        return
    end

    ngx.say("read: ", cjson.encode({typ, res}))

    if typ == 'eof' then
        break
    end
end

Output:

read: ["statusline","200"]
read: ["header",["Server","openresty\/1.5.12.1","Server: openresty\/1.5.12.1"]]
read: ["header",["Date","Tue, 10 Jun 2014 07:29:57 GMT","Date: Tue, 10 Jun 2014 07:29:57 GMT"]]
read: ["header",["Content-Type","text\/plain","Content-Type: text\/plain"]]
read: ["header",["Connection","keep-alive","Connection: keep-alive"]]
read: ["header",["Content-Length","84","Content-Length: 84"]]
read: ["header_end"]
read: ["body","GET \/echo "]
read: ["body","HTTP\/1.1\r\n"]
read: ["body","Host: 127."]
read: ["body","0.0.1\r\nUse"]
read: ["body","r-Agent: R"]
read: ["body","esty\/HTTPi"]
read: ["body","pe-0.04\r\nA"]
read: ["body","ccept: *\/*"]
read: ["body","\r\n\r\n"]
read: ["body_end"]
read: ["eof"]

或者你也可以这样用，使得 HTTP 请求就像 UNIX 管道一样从某一端流向了另外一端（注释内的代码是一般情况下的用法）：

local httpipe = require "resty.httpipe"

local hp, err = httpipe:new()

hp:set_timeout(5 * 1000) -- 5 sec

local r0, err = hp:request("127.0.0.1", 9090, {
                               method = "GET", path = "/echo",
                               stream = true })

-- from one http stream to another, just like a unix pipe

local pipe = r0.pipe

pipe:set_timeout(5 * 1000) -- 5 sec

--[[
    local headers = {["Content-Length"] = r0.headers["Content-Length"]}
    local r1, err = pipe:request("127.0.0.1", 9090, {
                                     method = "POST", path = "/echo",
                                     headers = headers,
                                     body = r0.body_reader })
--]]
local r1, err = pipe:request("127.0.0.1", 9090, {
                                 method = "POST", path = "/echo" })

ngx.status = r1.status

for k, v in pairs(r1.headers) do
    ngx.header[k] = v
end

ngx.say(r1.body)

= 其他一些实用的特性 =

* 除了一般的 set_timeout 方法外，还可以特别地设置 read_timeout 和 send_timeout：

hp:set_timeout(5 * 1000)

local res, err = hp:request{method = "GET", path = "/echo",
                            read_timeout = 30 * 1000, send_timeout = 15 * 1000}

此时，socket 连接超时为 5s，读和写超时分别为 30s 和 15s。

* 提供了 maxsize 参数项，可用来限定响应体的大小，若超出限制，则会立刻返回 nil, "exceeds maxsize" 错误，将处理权交给外部调用者。

* 在正常情况下，当请求结束的时候，会自动调用 set_keeplive 或者 close 方法（视 HTTP 协议情况而定），无需手动调用。

在 2014年4月20日星期日UTC+8上午12时19分02秒，Monkey Zhang写道：

去年写的一个 HTTP Client 库，现在开源出来分享给大家，我们在生产环境上已经跑了大半年了，但由于一直没空闲时间（懒），详细的测试用例还没来得及写 :-)

项目地址：https://github.com/timebug/lua-resty-httpipe

Q: 为什么又造了一个轮子？

A: 当初查看了几个 lua-resty-* HTTP Client 的实现，它们都没有暴露一个友好的 stream 形式的 reader 和 uploads 接口。

当然从现在来看 pintsized/lua-resty-http 这个库的实现其实挺符合当时的需求的，它提供了可迭代的 res.body_reader 对象：

local reader = res.body_reader repeat local chunk, err = reader(8192) if err then ngx.log(ngx.ERR, err) break end if chunk then -- process end until not chunk

以及可以将 reader 传到另外一个请求作为 body：

local client_body_reader, err = httpc:get_client_body_reader() local res, err = httpc:request{ path = "/helloworld", body = client_body_reader, }

另外，值得一提的是，在接口设计上也比我自己那时实现的基于 callback 形式的要清晰地多。

Q: 会继续维护下去吗？还是一开源就不管了？

A: 会，管。欢迎大家提各种意见，尤其是 API 设计上，我自己目前也不是很满意。

-----

Any way, 虽然又是一个轮子，仍然希望能给大家带来一点点参考价值。

membphis

多谢分享。

赞赞赞赞赞

On Saturday, June 21, 2014 11:20:31 PM UTC+8, Monkey Zhang wrote:

Hi, All

lua-resty-httpipe v0.04 Release!

https://github.com/timebug/lua-resty-httpipe

= ChangeLog v0.04 =

* new: 完全重新设计了 API 接口
* new: 增加了不少 Test::Nginx 测试 Case

= 关于新接口的设计 =

新版在 API 接口设计方面，很大程度上受到了 pintsized/lua-resty-http 和 openresty/lua-resty-upload 两个库的影响，同时结合了我们自己生产环境的业务特点（涉及很多大文件流式传输场景），在保持简洁和灵活性之间做了一定取舍。

因此，除了一些常规的使用方式外，你可以拿它这样用：

local cjson = require "cjson" local httpipe = require "resty.httpipe" local hp, err = httpipe:new(10) -- chunk_size = 10 hp:set_timeout(5 * 1000) -- 5 sec local ok, err = hp:connect("127.0.0.1", 9090) local ok, err = hp:send_request{ method = "GET", path = "/echo" } -- full streaming parser while true do local typ, res, err = hp:read() if not typ then ngx.say("failed to read: ", err) return end ngx.say("read: ", cjson.encode({typ, res})) if typ == 'eof' then break end end

Output:

read: ["statusline","200"] read: ["header",["Server","openresty\/1.5.12.1","Server: openresty\/1.5.12.1"]] read: ["header",["Date","Tue, 10 Jun 2014 07:29:57 GMT","Date: Tue, 10 Jun 2014 07:29:57 GMT"]] read: ["header",["Content-Type","text\/plain","Content-Type: text\/plain"]] read: ["header",["Connection","keep-alive","Connection: keep-alive"]] read: ["header",["Content-Length","84","Content-Length: 84"]] read: ["header_end"] read: ["body","GET \/echo "] read: ["body","HTTP\/1.1\r\n"] read: ["body","Host: 127."] read: ["body","0.0.1\r\nUse"] read: ["body","r-Agent: R"] read: ["body","esty\/HTTPi"] read: ["body","pe-0.04\r\nA"] read: ["body","ccept: *\/*"] read: ["body","\r\n\r\n"] read: ["body_end"] read: ["eof"]

或者你也可以这样用，使得 HTTP 请求就像 UNIX 管道一样从某一端流向了另外一端（注释内的代码是一般情况下的用法）：

local httpipe = require "resty.httpipe" local hp, err = httpipe:new() hp:set_timeout(5 * 1000) -- 5 sec local r0, err = hp:request("127.0.0.1", 9090, { method = "GET", path = "/echo", stream = true }) -- from one http stream to another, just like a unix pipe local pipe = r0.pipe pipe:set_timeout(5 * 1000) -- 5 sec --[[ local headers = {["Content-Length"] = r0.headers["Content-Length"]} local r1, err = pipe:request("127.0.0.1", 9090, { method = "POST", path = "/echo", headers = headers, body = r0.body_reader }) --]] local r1, err = pipe:request("127.0.0.1", 9090, { method = "POST", path = "/echo" }) ngx.status = r1.status for k, v in pairs(r1.headers) do ngx.header[k] = v end ngx.say(r1.body)

= 其他一些实用的特性 =

* 除了一般的 set_timeout 方法外，还可以特别地设置 read_timeout 和 send_timeout：

hp:set_timeout(5 * 1000) local res, err = hp:request{method = "GET", path = "/echo", read_timeout = 30 * 1000, send_timeout = 15 * 1000}

此时，socket 连接超时为 5s，读和写超时分别为 30s 和 15s。

* 提供
...