[openresty] 关于openresty的磁盘io部分

miaohonghit · 2013-11-11T16:08:57+00:00

Hello! 2013/11/11 Nero.Ping: > 1.我以前没有配过缓存服务，还不太...

[openresty] 关于openresty的磁盘io部分

miaohonghit

hi all,

目前对于一些视频应用，需要对磁盘上的大文件进行随机读取，一般来讲，采用下面的子请求模式可以利用nginx的sendfile特性

location / {

internal;

root html;

}

location /capture {

content_by_lua '

res = ngx.location.capture("/")

echo res.body

}

但是上面root 只能去操作整个文件，如果给定文件偏移和大小去读取文件，上面的方式就不行了。

我们之前的做法是写了一个nginx c 模块，去获取大文件的偏移长度等，最后还是走ngx_http_output_filter

现在如果用lua来做话，貌似只能用lua的原生io了？ openresty现在还没有这方面的接口

如果用lua来写的话，是不是io操作都应该放在一个协程里去跑？

谢谢

--

Best Regards,
Harold Miao

agentzh

Hello!

2013/11/11 Harold.Miao:
>
> 目前对于一些视频应用，需要对磁盘上的大文件进行随机读取，一般来讲，采用下面的子请求模式可以利用nginx的sendfile特性
>

我的建议是：

1. 你仍然可以让 Nginx 只读指定的文件部分，方法是你在 Lua 里面通过 ngx.req.set_header() 接口伪造
Accept-Ranges 请求头。

2. 此时不要使用子请求，尽量把你的 Lua 代码放在 rewrite_by_lua 或者 access_by_lua 里面。

我有计划在 ngx_lua 里面暴露内核 AIO 的接口，不过在 Linux 系统上的意义有限（因为 Linux 的 AIO 支持限制很多）。

> 如果用lua来写的话，是不是io操作都应该放在一个协程里去跑？

Lua 协程并不对应新的 OS 线程，所以磁盘 IO 总是会阻塞。当然，如果内核的 page cache
命中率足够高的话，大部分时间还是直接从内存里面读的，所以也问题不大。

Regards,
-agentzh

miaohonghit

谢春哥指点，构造range请求这个靠谱。

“此时不要使用子请求，尽量把你的 Lua 代码放在 rewrite_by_lua 或者 access_by_lua 里面。” ---春哥能解释一下为什么吗？谢谢

还有：

我搜索了之前的邮件，春哥但是提供了一些方法

https://groups.google.com/forum/#!msg/openresty/WdLAEd02bMM/Xa3CazAULusJ

另外还有人提到了用 lua-resty-http 去做。貌似方法还是很多的

在 2013年11月12日上午5:30，Yichun Zhang (agentzh) <age...@gmail.com>写道：

Hello!

2013/11/11 Harold.Miao:
>
> 目前对于一些视频应用，需要对磁盘上的大文件进行随机读取，一般来讲，采用下面的子请求模式可以利用nginx的sendfile特性
>

我的建议是：

1. 你仍然可以让 Nginx 只读指定的文件部分，方法是你在 Lua 里面通过 ngx.req.set_header() 接口伪造
Accept-Ranges 请求头。

2. 此时不要使用子请求，尽量把你的 Lua 代码放在 rewrite_by_lua 或者 access_by_lua 里面。

我有计划在 ngx_lua 里面暴露内核 AIO 的接口，不过在 Linux 系统上的意义有限（因为 Linux 的 AIO 支持限制很多）。

> 如果用lua来写的话，是不是io操作都应该放在一个协程里去跑？

Lua 协程并不对应新的 OS 线程，所以磁盘 IO 总是会阻塞。当然，如果内核的 page cache
命中率足够高的话，大部分时间还是直接从内存里面读的，所以也问题不大。

Regards,
-agentzh

--

--

Best Regards,
Harold Miao

agentzh

Hello!

2013/11/11 Harold.Miao:
> “此时不要使用子请求，尽量把你的 Lua 代码放在 rewrite_by_lua 或者 access_by_lua 里面。”
> ---春哥能解释一下为什么吗？谢谢
>

ngx_lua 的 ngx.location.capture*
发起的子请求设置了“filter_need_in_memory”这个标志，导致文件数据总是会被读取到内存中来，此时 sendfile()
就没有意义了。

Regards,
-agentzh

miaohonghit

哦这么说的话，那春哥之前提供的下面的方式，就不能使用sendfile特性了。如果还是想启用sendfile特性，春哥有什么好的建议吗？谢谢

location /test {
rewrite_by_lua '
local old_range = ngx.var.http_range
print("old range: ", old_range)
ngx.req.set_header("Range", "bytes=2-10")
local res = ngx.location.capture("/sub")
ngx.req.set_header("Range", old_range)
print("[", res.body, "]")
';
}

location /sub {
proxy_pass http://127.0.0.1:$server_port/index.html;
}

在 2013年11月12日上午10:40，Yichun Zhang (agentzh) <age...@gmail.com>写道：

Hello!

2013/11/11 Harold.Miao:

> “此时不要使用子请求，尽量把你的 Lua 代码放在 rewrite_by_lua 或者 access_by_lua 里面。”
> ---春哥能解释一下为什么吗？谢谢
>

ngx_lua 的 ngx.location.capture*
发起的子请求设置了“filter_need_in_memory”这个标志，导致文件数据总是会被读取到内存中来，此时 sendfile()
就没有意义了。

Regards,
-agentzh

--

--

Best Regards,
Harold Miao

agentzh

Hello!

2013/11/11 Harold.Miao:
> 哦  这么说的话，那春哥之前提供的下面的方式，就不能使用sendfile特性了。  如果还是想启用sendfile特性，春哥有什么好的建议吗？ 谢谢
>

我已经说过了，“尽量把你的 Lua 代码放在 rewrite_by_lua 或者 access_by_lua 里面。”

你的 rewrite_by_lua 和 access_by_lua 可以和 proxy_pass 共存在一个 location 里面，并且前者运行在后者之前。

Regards,
-agentzh