能否用lua写一个内容分发的功能

zhenzhenyang612 · 2014-02-27T16:24:33+00:00

Hello! On Wed, Feb 26, 2014 at 10:08 PM, Dreamingpacer Zhang wrote: > 执行了sample-bt脚本，结果如&#...

能否用lua写一个内容分发的功能

zhenzhenyang612

我们公司是做智能电视的，我主要负责cdn模块，目前有个业务需求，我们的cdn模块要承接第三方的媒资信息，第三方把要分发的内容以xml格式分发给我，我打算用nginx里的lua模块解析xml并去下载分发的内容，分发的内容一般都在1g左右，有时可能一次会分发很多，我不担心并发量的问题，但是用lua写一个异步下载的程序，这个lua模块好像是为每一个建立的连接生成一个线程来执行，如果客户一下子推来几千个，并发量能承受，网络带宽压力就很大，下载的整体速度会很慢，就是想问下能否有种方法解决这种带宽问题。或者我能不能用类似管道的东西，把客户推过来的东西先缓存起来，然后再一小波一小波的下

今天才发现这个论坛，没想到能和大神如此近距离交流，小开心一下，接触lua小半年，一直没有突破，请章哥解答一下上面的问题

agentzh

Hello!

2014-02-27 0:24 GMT-08:00  zhenzhenyang612:
>
> 这个lua模块好像是为每一个建立的连接生成一个线程来执行，

这里是“轻量级线程”，并不会生成 OS 线程。

> 如果客户一下子推来几千个，并发量能承受，网络带宽压力就很
> 大，下载的整体速度会很慢，就是想问下能否有种方法解决这种
> 带宽问题。或者我能不能用类似管道的东西，把客户推过来的东
> 西先缓存起来，然后再一小波一小波的下

你可以通过 ngx_lua 的共享内存字典来缓存客户推过来的元数据，然后你可以顺序逐一地按块下载元数据里的下载任务。见

    https://github.com/chaoslawful/lua-nginx-module#ngxshareddict

另外，你也可以通过 lua-resty-lock 这样的库来限制所有 worker
进程总是只有一个下载任务正在执行。这个库其实也是基于上面提到的共享内存字典的，见

    https://github.com/agentzh/lua-resty-lock#readme

Regards,
-agentzh

zhenzhenyang612

非常感谢章哥，你就是我的男神，好崇拜你

在 2014年2月28日星期五UTC+8上午8时54分50秒，agentzh写道：

Hello!

2014-02-27 0:24 GMT-08:00 zhenzhenyang612:
>
> 这个lua模块好像是为每一个建立的连接生成一个线程来执行，

这里是“轻量级线程”，并不会生成 OS 线程。

> 如果客户一下子推来几千个，并发量能承受，网络带宽压力就很
> 大，下载的整体速度会很慢，就是想问下能否有种方法解决这种
> 带宽问题。或者我能不能用类似管道的东西，把客户推过来的东
> 西先缓存起来，然后再一小波一小波的下

你可以通过 ngx_lua 的共享内存字典来缓存客户推过来的元数据，然后你可以顺序逐一地按块下载元数据里的下载任务。见

https://github.com/chaoslawful/lua-nginx-module#ngxshareddict

另外，你也可以通过 lua-resty-lock 这样的库来限制所有 worker
进程总是只有一个下载任务正在执行。这个库其实也是基于上面提到的共享内存字典的，见

https://github.com/agentzh/lua-resty-lock#readme

Regards,
-agentzh