请教，能否在文件下载过程改变limit_rate的值

laidongmin · 2013-01-31T15:13:13+00:00

Hello! 2013/1/30 Collin/hug: > > 我的模块大致是这样的，handler中处&#x740...

请教，能否在文件下载过程改变limit_rate的值

laidongmin

limit_rate可以这样来配置，以达到限速的目的

server {
  if ($slow) {
    set $limit_rate  4k;
  }
}

小弟现在有个需求，希望在文件下载过程中，能改变下载速率，请问是否可以做到？

agentzh

Hello!

2013/1/30 dtree:
> limit_rate可以这样来配置，以达到限速的目的
>
> server {
>   if ($slow) {
>     set $limit_rate  4k;
>   }
> }
>
> 小弟现在有个需求，希望在文件下载过程中，能改变下载速率，请问是否可以做到？
>

你可以在运行时动态设置 Nginx 内建变量 $limit_rate:

    http://wiki.nginx.org/HttpCoreModule#.24limit_rate

比如你可以在 Lua 中动态修改此变量的值：

    ngx.var.limit_rate = 1024

Best regards,
-agentzh

laidongmin

多谢回复，我的场景需要多某个用户限速，例如：query string中带 id=xxx ，对这个id的所有连接限速10M

那yaoweibin 的 https://github.com/yaoweibin/nginx_limit_speed_module 这个模块有些问题，

他是在连接建立起来的时候设置 limit_req，那样的话，整个连接就只能保持一种速度了

我希望能更灵活一点，当别的连接已经完成下载时，活着的连接能够抢占一些带宽，也就是能在连接中设置 limit_rate

这个想法靠谱么？

在 2013年2月1日上午4:12，agentzh <age...@gmail.com>写道：

Hello!

2013/1/30 dtree:

> limit_rate可以这样来配置，以达到限速的目的
>
> server {
> if ($slow) {
> set $limit_rate 4k;
> }
> }
>
> 小弟现在有个需求，希望在文件下载过程中，能改变下载速率，请问是否可以做到？
>

你可以在运行时动态设置 Nginx 内建变量 $limit_rate:

http://wiki.nginx.org/HttpCoreModule#.24limit_rate

比如你可以在 Lua 中动态修改此变量的值：

ngx.var.limit_rate = 1024

Best regards,
-agentzh

https://groups.google.com/groups/opt_out。

agentzh

Hello!

2013/2/1 来东敏:
> 多谢回复，我的场景需要多某个用户限速，例如：query string中带 id=xxx ，对这个id的所有连接限速10M
>
[...]
>
> 我希望能更灵活一点，当别的连接已经完成下载时，活着的连接能够抢占一些带宽，也就是能在连接中设置 limit_rate
>
> 这个想法靠谱么？
>

修改 $limit_rate 变量的值会立即影响并且只会影响当前请求的连接。注意，这不是 limit_rate 配置指令，而是
$limit_rate 变量。至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua 模块提供的共享内存字典自己实现：

    http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT

Best regards,
-agentzh

laidongmin

明白，试过 $limit_rate 变量，确实只会影响当前请求的连接，

我想请教下，是否有机制，能够在连接过程中重新设置 $limit_rate 变量，

例如：一开始由于并发多，设置200KB/s，过了n秒之后，有些小文件下载的连接已经结束，带宽空闲下来了，能够动态把200KB/s 改成500KB/s

因为我只要控制总量，当

在 2013年2月2日下午1:04，agentzh <age...@gmail.com>写道：

Hello!

2013/2/1 来东敏:

> 多谢回复，我的场景需要多某个用户限速，例如：query string中带 id=xxx ，对这个id的所有连接限速10M
>

[...]

>
> 我希望能更灵活一点，当别的连接已经完成下载时，活着的连接能够抢占一些带宽，也就是能在连接中设置 limit_rate
>
> 这个想法靠谱么？
>

修改 $limit_rate 变量的值会立即影响并且只会影响当前请求的连接。注意，这不是 limit_rate 配置指令，而是
$limit_rate 变量。至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua 模块提供的共享内存字典自己实现：

http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT

Best regards,
-agentzh要查看更多选项，请访问 https://groups.google.com/groups/opt_out。

agentzh

Hello!

2013/2/1 来东敏 <laid...@gmail.com>:
> 我想请教下，是否有机制，能够在连接过程中重新设置  $limit_rate 变量，
>
> 例如：一开始由于并发多，设置200KB/s，过了n秒之后，有些小文件下载的连接已经结束，带宽空闲下来了，能够动态把200KB/s 改成500KB/s
>

对此我刚才已经说了，再次重复一遍：“至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua
模块提供的共享内存字典自己实现：http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT ”

更具体一些，你可以在共享内存字典中维护一个计数器，指示当前活动的连接数或者总传输率。然后你可以在各请求的输出体过滤器（比如通过
body_filter_by_lua 指令）中检查并修改此计数器，对当前请求的并对 $limit_rate 进行动态调整。另外，在
log_by_lua 中进行必要的清理是重要的，以免请求中途出错而导致计数器状态不一致。

当然，这同时需要你使用非缓冲输出模式，比如在使用 ngx_proxy 时配置 proxy_buffering off，在使用 ngx_lua
时使用 ngx.flush(true) 进行同步，等等。

Best regards,
-agentzh

laidongmin

在body_filter_by_lua里面重复设置 $limit_rate 对流量限速进行变更，it works！

多谢春哥指教

在 2013年2月2日下午1:22，agentzh <age...@gmail.com>写道：

Hello!

2013/2/1 来东敏 <laid...@gmail.com>:

> 我想请教下，是否有机制，能够在连接过程中重新设置 $limit_rate 变量，
>
> 例如：一开始由于并发多，设置200KB/s，过了n秒之后，有些小文件下载的连接已经结束，带宽空闲下来了，能够动态把200KB/s 改成500KB/s
>

对此我刚才已经说了，再次重复一遍：“至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua
模块提供的共享内存字典自己实现：http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT ”

更具体一些，你可以在共享内存字典中维护一个计数器，指示当前活动的连接数或者总传输率。然后你可以在各请求的输出体过滤器（比如通过
body_filter_by_lua 指令）中检查并修改此计数器，对当前请求的并对 $limit_rate 进行动态调整。另外，在
log_by_lua 中进行必要的清理是重要的，以免请求中途出错而导致计数器状态不一致。

当然，这同时需要你使用非缓冲输出模式，比如在使用 ngx_proxy 时配置 proxy_buffering off，在使用 ngx_lua
时使用 ngx.flush(true) 进行同步，等等。

Best regards,
-agentzh要查看更多选项，请访问 https://groups.google.com/groups/opt_out。

lhmwzy

能把示例代码共享一下吗？
我前段时间还在研究这个

在 2013年2月2日下午2:25，dtrees lai <laid...@gmail.com>写道：

在body_filter_by_lua里面重复设置 $limit_rate 对流量限速进行变更，it works！

多谢春哥指教

在 2013年2月2日下午1:22，agentzh <age...@gmail.com>写道：

Hello!

2013/2/1 来东敏 <laid...@gmail.com>:

> 我想请教下，是否有机制，能够在连接过程中重新设置 $limit_rate 变量，
>
> 例如：一开始由于并发多，设置200KB/s，过了n秒之后，有些小文件下载的连接已经结束，带宽空闲下来了，能够动态把200KB/s 改成500KB/s
>

对此我刚才已经说了，再次重复一遍：“至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua
模块提供的共享内存字典自己实现：http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT ”

更具体一些，你可以在共享内存字典中维护一个计数器，指示当前活动的连接数或者总传输率。然后你可以在各请求的输出体过滤器（比如通过
body_filter_by_lua 指令）中检查并修改此计数器，对当前请求的并对 $limit_rate 进行动态调整。另外，在
log_by_lua 中进行必要的清理是重要的，以免请求中途出错而导致计数器状态不一致。

当然，这同时需要你使用非缓冲输出模式，比如在使用 ngx_proxy 时配置 proxy_buffering off，在使用 ngx_lua
时使用 ngx.flush(true) 进行同步，等等。

Best regards,
-agentzh要查看更多选项，请访问 https://groups.google.com/groups/opt_out。

yaoweibin

閿熸枻鎷烽敓鏂ゆ嫹涔熼敓鏂ゆ嫹閿熺殕甯嫹蹇欓敓鏂ゆ嫹灞曚竴閿熸枻鎷穕imit_speed妯￠敓浠嬶紝閿熸枻鎷烽敓鏂ゆ嫹閿熷姭纰夋嫹閿熺纭锋嫹閿熸枻鎷? body_filter閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鍙 鎷蜂竴閿熸枻鎷?span class="moz-smiley-s1"> :-) 閿熸枻鎷?br>
On 2013-2-2 12:59, 閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷?wrote:

閿熸枻鎷疯阿閿熸埅闈╂嫹閿熸枻鎷烽敓鎻殑绛规嫹閿熸枻鎷烽敓鏂ゆ嫹瑕侀敓鏂ゆ嫹鏌愰敓鏂ゆ嫹閿熺煫浼欐嫹閿熸枻鎷烽敓鍔綇鎷烽敓鏂ゆ嫹閿熺晫锛歲uery string閿熷彨杈炬嫹 id=xxx 閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓?id閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷?0M

閿熸枻鎷穣aoweibin 閿熸枻鎷?nbsp;https://github.com/yaoweibin/nginx_limit_speed_module 閿熸枻鎷烽敓渚ワ綇鎷烽敓鏂ゆ嫹閿熷彨鈺嬫嫹閿熸枻鎷风寭?

閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸帴鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹鏃堕敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹 limit_req閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷峰箷閿熸枻鎷烽敓鏂ゆ嫹閿熸枻鎷烽敓鏂ゆ嫹閿熸帴鎾呮嫹鍙敓鏉版唻鎷烽敓鏂ゆ嫹涓

laidongmin

目前还没有完整代码，只是试验了下

确定在 body_filter_by_lua 阶段修改 $limit_rate 变量能改变当前连接的rate

做法就如春哥说的，借助共享内存字典来设置传递要设置的rate值

在 2013年2月2日星期六UTC+8下午5时03分19秒，lhmwzy写道：
能把示例代码共享一下吗？
我前段时间还在研究这个

在 2013年2月2日下午2:25，dtrees lai <laido...@gmail.com>写道：

在body_filter_by_lua里面重复设置 $limit_rate 对流量限速进行变更，it works！

多谢春哥指教

在 2013年2月2日下午1:22，agentzh <age...@gmail.com>写道：

Hello!

2013/2/1 来东敏 <laido...@gmail.com>:

> 我想请教下，是否有机制，能够在连接过程中重新设置 $limit_rate 变量，
>
> 例如：一开始由于并发多，设置200KB/s，过了n秒之后，有些小文件下载的连接已经结束，带宽空闲下来了，能够动态把200KB/s 改成500KB/s
>

对此我刚才已经说了，再次重复一遍：“至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua
模块提供的共享内存字典自己实现：http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT ”

更具体一些，你可以在共享内存字典中维护一个计数器，指示当前活动的连接数或者总传输率。然后你可以在各请求的输出体过滤器（比如通过
body_filter_by_lua 指令）中检查并修改此计数器，对当前请求的并对 $limit_rate 进行动态调整。另外，在
log_by_lua 中进行必要的清理是重要的，以免请求中途出错而导致计数器状态不一致。

当然，这同时需要你使用非缓冲输出模式，比如在使用 ngx_proxy 时配置 proxy_buffering off，在使用 ngx_lua
时使用 ngx.flush(true) 进行同步，等等。

Best regards,
-agentzh要查看更多选项，请访问 https://groups.google.com/groups/opt_out。

bigplum

https://github.com/bigplum/Nginx-limit-traffic-rate-module

这个模块实现了春哥说的这些内容，可以参考一下。但是基于limit-rate做限速总不是很完美的方案，很难精确控制每个连接的流量。而且容易出现多个连接流量不均衡的情况。

最近一直在考虑QOS，例如：让/app1使用80%的带宽，/app2使用20%的带宽，如果基于limit-rate去做，逻辑会变得很复杂，而且对性能应该也有影响。

在 2013年2月2日星期六UTC+8下午1时22分52秒，agentzh写道：
Hello!

2013/2/1 来东敏 <laido...@gmail.com>:
> 我想请教下，是否有机制，能够在连接过程中重新设置 $limit_rate 变量，
>
> 例如：一开始由于并发多，设置200KB/s，过了n秒之后，有些小文件下载的连接已经结束，带宽空闲下来了，能够动态把200KB/s 改成500KB/s
>

对此我刚才已经说了，再次重复一遍：“至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua
模块提供的共享内存字典自己实现：http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT ”

更具体一些，你可以在共享内存字典中维护一个计数器，指示当前活动的连接数或者总传输率。然后你可以在各请求的输出体过滤器（比如通过
body_filter_by_lua 指令）中检查并修改此计数器，对当前请求的并对 $limit_rate 进行动态调整。另外，在
log_by_lua 中进行必要的清理是重要的，以免请求中途出错而导致计数器状态不一致。

当然，这同时需要你使用非缓冲输出模式，比如在使用 ngx_proxy 时配置 proxy_buffering off，在使用 ngx_lua
时使用 ngx.flush(true) 进行同步，等等。

Best regards,
-agentzh

laidongmin

这个模块我试过，稍微有点并发就很不靠谱，版本是 ngx_openresty/1.2.4.14

--add_module=../3rd_modules/Nginx-limit-traffic-rate-module

不知道 @Simon 是否试用过？

在 2013年2月4日星期一UTC+8上午10时02分26秒，Simon写道：
https://github.com/bigplum/Nginx-limit-traffic-rate-module

这个模块实现了春哥说的这些内容，可以参考一下。但是基于limit-rate做限速总不是很完美的方案，很难精确控制每个连接的流量。而且容易出现多个连接流量不均衡的情况。

最近一直在考虑QOS，例如：让/app1使用80%的带宽，/app2使用20%的带宽，如果基于limit-rate去做，逻辑会变得很复杂，而且对性能应该也有影响。

在 2013年2月2日星期六UTC+8下午1时22分52秒，agentzh写道：
Hello!

2013/2/1 来东敏 <laido...@gmail.com>:
> 我想请教下，是否有机制，能够在连接过程中重新设置 $limit_rate 变量，
>
> 例如：一开始由于并发多，设置200KB/s，过了n秒之后，有些小文件下载的连接已经结束，带宽空闲下来了，能够动态把200KB/s 改成500KB/s
>

对此我刚才已经说了，再次重复一遍：“至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua
模块提供的共享内存字典自己实现：http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT ”

更具体一些，你可以在共享内存字典中维护一个计数器，指示当前活动的连接数或者总传输率。然后你可以在各请求的输出体过滤器（比如通过
body_filter_by_lua 指令）中检查并修改此计数器，对当前请求的并对 $limit_rate 进行动态调整。另外，在
log_by_lua 中进行必要的清理是重要的，以免请求中途出错而导致计数器状态不一致。

当然，这同时需要你使用非缓冲输出模式，比如在使用 ngx_proxy 时配置 proxy_buffering off，在使用 ngx_lua
时使用 ngx.flush(true) 进行同步，等等。

Best regards,
-agentzh

bigplum

不会吧，我们在生产环境中用的，具体是啥问题？

在 2013年2月4日星期一UTC+8上午10时13分09秒，dtree写道：
这个模块我试过，稍微有点并发就很不靠谱，版本是 ngx_openresty/1.2.4.14

--add_module=../3rd_modules/Nginx-limit-traffic-rate-module

不知道 @Simon 是否试用过？

在 2013年2月4日星期一UTC+8上午10时02分26秒，Simon写道：
https://github.com/bigplum/Nginx-limit-traffic-rate-module

这个模块实现了春哥说的这些内容，可以参考一下。但是基于limit-rate做限速总不是很完美的方案，很难精确控制每个连接的流量。而且容易出现多个连接流量不均衡的情况。

最近一直在考虑QOS，例如：让/app1使用80%的带宽，/app2使用20%的带宽，如果基于limit-rate去做，逻辑会变得很复杂，而且对性能应该也有影响。

在 2013年2月2日星期六UTC+8下午1时22分52秒，agentzh写道：
Hello!

2013/2/1 来东敏 <laido...@gmail.com>:
> 我想请教下，是否有机制，能够在连接过程中重新设置 $limit_rate 变量，
>
> 例如：一开始由于并发多，设置200KB/s，过了n秒之后，有些小文件下载的连接已经结束，带宽空闲下来了，能够动态把200KB/s 改成500KB/s
>

对此我刚才已经说了，再次重复一遍：“至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua
模块提供的共享内存字典自己实现：http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT ”

更具体一些，你可以在共享内存字典中维护一个计数器，指示当前活动的连接数或者总传输率。然后你可以在各请求的输出体过滤器（比如通过
body_filter_by_lua 指令）中检查并修改此计数器，对当前请求的并对 $limit_rate 进行动态调整。另外，在
log_by_lua 中进行必要的清理是重要的，以免请求中途出错而导致计数器状态不一致。

当然，这同时需要你使用非缓冲输出模式，比如在使用 ngx_proxy 时配置 proxy_buffering off，在使用 ngx_lua
时使用 ngx.flush(true) 进行同步，等等。

Best regards,
-agentzh

laidongmin

问题主要有两个地方

1.限流总量并不是设置的那个值，限流200K，并发4个连接，会翻翻不止
2.某些单个连接的下载速率不稳定，启多个 wget 并发下载 “12,590,778 --.-K/s 估时 6m 59s” 会断断续续

当然，可能是环境的问题，兄台可以试一下

在 2013年2月4日星期一UTC+8上午10时44分16秒，Simon写道：
不会吧，我们在生产环境中用的，具体是啥问题？

在 2013年2月4日星期一UTC+8上午10时13分09秒，dtree写道：
这个模块我试过，稍微有点并发就很不靠谱，版本是 ngx_openresty/1.2.4.14

--add_module=../3rd_modules/Nginx-limit-traffic-rate-module

不知道 @Simon 是否试用过？

在 2013年2月4日星期一UTC+8上午10时02分26秒，Simon写道：
https://github.com/bigplum/Nginx-limit-traffic-rate-module

这个模块实现了春哥说的这些内容，可以参考一下。但是基于limit-rate做限速总不是很完美的方案，很难精确控制每个连接的流量。而且容易出现多个连接流量不均衡的情况。

最近一直在考虑QOS，例如：让/app1使用80%的带宽，/app2使用20%的带宽，如果基于limit-rate去做，逻辑会变得很复杂，而且对性能应该也有影响。

在 2013年2月2日星期六UTC+8下午1时22分52秒，agentzh写道：
Hello!

2013/2/1 来东敏 <laido...@gmail.com>:
> 我想请教下，是否有机制，能够在连接过程中重新设置 $limit_rate 变量，
>
> 例如：一开始由于并发多，设置200KB/s，过了n秒之后，有些小文件下载的连接已经结束，带宽空闲下来了，能够动态把200KB/s 改成500KB/s
>

对此我刚才已经说了，再次重复一遍：“至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua
模块提供的共享内存字典自己实现：http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT ”

更具体一些，你可以在共享内存字典中维护一个计数器，指示当前活动的连接数或者总传输率。然后你可以在各请求的输出体过滤器（比如通过
body_filter_by_lua 指令）中检查并修改此计数器，对当前请求的并对 $limit_rate 进行动态调整。另外，在
log_by_lua 中进行必要的清理是重要的，以免请求中途出错而导致计数器状态不一致。

当然，这同时需要你使用非缓冲输出模式，比如在使用 ngx_proxy 时配置 proxy_buffering off，在使用 ngx_lua
时使用 ngx.flush(true) 进行同步，等等。

Best regards,
-agentzh

zhaohang200801

貌似请求过程中动态改变limit_rate会使请求不稳定，比如将当前请求速率改为之前请求速率的一半，则会使得请求速度降为0，甚至会维持很长时间的0速率，查了下limit_rate源码发现确实可能引起上述情况。请问该如何解决，怎样实现设备上server级带宽限制。
if (r->limit_rate) {
limit = r->limit_rate * (ngx_time() - r->start_sec + 1)
- (c->sent - clcf->limit_rate_after);
/* 超出发送速率限制 */
if (limit <= 0) {
c->write->delayed = 1; /* 设置delayed标记，延迟发送请求 */
ngx_add_timer(c->write,
(ngx_msec_t) (- limit * 1000 / r->limit_rate + 1));

c->buffered |= NGX_HTTP_WRITE_BUFFERED; /* 设置buffered标记 */

return NGX_AGAIN;
}

在 2013年2月2日星期六 UTC+8下午1:22:52，agentzh写道：
Hello!

2013/2/1 来东敏 <laido...@gmail.com>:
> 我想请教下，是否有机制，能够在连接过程中重新设置 $limit_rate 变量，
>
> 例如：一开始由于并发多，设置200KB/s，过了n秒之后，有些小文件下载的连接已经结束，带宽空闲下来了，能够动态把200KB/s 改成500KB/s
>

对此我刚才已经说了，再次重复一遍：“至于不同请求之间的信息同步，你可以通过一些 Lua 代码配合 ngx_lua
模块提供的共享内存字典自己实现：http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT ”

更具体一些，你可以在共享内存字典中维护一个计数器，指示当前活动的连接数或者总传输率。然后你可以在各请求的输出体过滤器（比如通过
body_filter_by_lua 指令）中检查并修改此计数器，对当前请求的并对 $limit_rate 进行动态调整。另外，在
log_by_lua 中进行必要的清理是重要的，以免请求中途出错而导致计数器状态不一致。

当然，这同时需要你使用非缓冲输出模式，比如在使用 ngx_proxy 时配置 proxy_buffering off，在使用 ngx_lua
时使用 ngx.flush(true) 进行同步，等等。

Best regards,
-agentzh