[openresty] 讨论如何利用ngx_lua做多路回源合并

miaohonghit

hello all,

有个需求，如下面左图，源站有个直播视频flv流，客户端请求首先经过ngx_lua然后回源源站。

有个要求是要保证回源带宽尽量节省 ，也就是说多个客户端请求如果请求同一个flv流，那么只能回源一次。

我想应该在源站前面加一个代理，如下面有图所示。我觉得代理可以是：

squid

ngx.shared.DICT

请教各位，对于这种场景，有没有什么更好的架构？谢谢

--

Best Regards,
Harold Miao

agentzh

Hello!

2014-03-03 21:43 GMT-08:00 Harold.Miao :
> 有个要求是要保证回源带宽尽量节省 ，也就是说多个
> 客户端请求如果请求同一个flv流，那么只能回源一
> 次。

这种需求一般配合资源缓存和缓存锁（cache lock）来实现，见

    https://github.com/agentzh/lua-resty-lock#readme

以及

 http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_cache_lock

Regards,
-agentzh

miaohonghit

hi 春哥

关于流式数据缓存减少回源问题,我在实际开发中发现有很棘手的问题,想请教春哥.

是这样的, 缓存的cache我用下面的库

mtourne / ngx.shcache

业务模型是客户端 ---> ngx_lua(cache) ---> 源站

因为N个客户端发起同一个请求时, 只能回源一个. 这样

假设客户端有 A和B, 请求的链接为 host/x.flv (x.flv是一个流式无穷无尽的源), 那么 A和B同时请求，假设A先连接，A根据host/x.flv (作为key) 去查询缓存，发现没有，然后触发缓存中设置的回调函数去源站回源读一个4092字节的数据块，同时存入缓存中。B来了发现缓存中没有，就等待，直到A将源站数据拉回缓存。

问题是：

1 在开发中，因为要保证一路客户端回源，其他客户端等待，发现这种模型没法实现。

2 因为是流式数据，是实时的，针对一个URL, 比如host/x.flv ，它作为key，它的流是无穷无尽的，所以不可能全部缓存，所以只能每次读取一个chunk来缓存，问题是作为流式数据，这个缓存要随时保持更新，即host/x.flv这个key所对应的chunk value要实时更新。发现这个也是很难做的。给share_DICT的设置过期时间？好像也不行

发现流式数据做cache, 很难，可能是我见识肤浅，恳请春哥指点点拨一二。不胜感激！

Yichun Zhang (agentzh) <age...@gmail.com>于2014年3月5日星期三写道：

Hello!

2014-03-03 21:43 GMT-08:00 Harold.Miao :
> 有个要求是要保证回源带宽尽量节省，也就是说多个
> 客户端请求如果请求同一个flv流，那么只能回源一
> 次。

这种需求一般配合资源缓存和缓存锁（cache lock）来实现，见

https://github.com/agentzh/lua-resty-lock#readme

以及

http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_cache_lock

Regards,
-agentzh

--

--

Best Regards,
Harold Miao

agentzh

Hello!

2014-03-10 19:38 GMT-07:00 Harold.Miao:
> 问题是作为流式数据，这个缓存要随时保持更新，即
> host/x.flv这个key所对应的chunk value要实时更新。
> 发现这个也是很难做的。

如果你是按 chunk 作为缓存粒度，那么你的 key 也需要唯一地标识当前的 chunk（比如在 key 里加上当前偏移量和大小信息）

> 发现流式数据做cache, 很难， 可能是我见识肤浅， 恳请春哥指点点拨一二。  不胜感激！
>

cache 就意味着缓存，而流式处理的核心就是尽量少地缓存。所以你只能退而求其次，进行局部缓存了。

Regards,
-agentzh

miaohonghit

“如果你是按 chunk 作为缓存粒度，那么你的 key 也需要唯一地标识当前的 chunk（比如在 key 里加上当前偏移量和大小信息）”

-----------因为源站是http1.0的不能提供偏移参数, 还有没有其他可标识key的参数？如果是time的话，需要频繁更新ngx.update_time ，貌似开销太大了。。。。

Yichun Zhang (agentzh) <age...@gmail.com>于2014年3月11日星期二写道：

Hello!

2014-03-10 19:38 GMT-07:00 Harold.Miao:
> 问题是作为流式数据，这个缓存要随时保持更新，即
> host/x.flv这个key所对应的chunk value要实时更新。
> 发现这个也是很难做的。

如果你是按 chunk 作为缓存粒度，那么你的 key 也需要唯一地标识当前的 chunk（比如在 key 里加上当前偏移量和大小信息）

> 发现流式数据做cache, 很难，可能是我见识肤浅，恳请春哥指点点拨一二。不胜感激！
>

cache 就意味着缓存，而流式处理的核心就是尽量少地缓存。所以你只能退而求其次，进行局部缓存了。

Regards,
-agentzh

--

--

Best Regards,
Harold Miao

miaohonghit

另外，春哥如果不按chunk缓存粒度，还能怎么缓存呢？

Yichun Zhang (agentzh) <age...@gmail.com>于2014年3月11日星期二写道：

Hello!

2014-03-10 19:38 GMT-07:00 Harold.Miao:
> 问题是作为流式数据，这个缓存要随时保持更新，即
> host/x.flv这个key所对应的chunk value要实时更新。
> 发现这个也是很难做的。

如果你是按 chunk 作为缓存粒度，那么你的 key 也需要唯一地标识当前的 chunk（比如在 key 里加上当前偏移量和大小信息）

> 发现流式数据做cache, 很难，可能是我见识肤浅，恳请春哥指点点拨一二。不胜感激！
>

cache 就意味着缓存，而流式处理的核心就是尽量少地缓存。所以你只能退而求其次，进行局部缓存了。

Regards,
-agentzh

--

--

Best Regards,
Harold Miao