如何实现nginx缓存在内存与磁盘间的动态分布?

dingdongnigetou · 2017-02-27T17:54:18+00:00

Hello在 2017年2月28日下午12:42，wwaz wwaz <3824...@qq.com>写道：但是目&#...

如何实现nginx缓存在内存与磁盘间的动态分布?

dingdongnigetou

hello all,

有这样一个需求，需要使得高频率访问的缓存尽量保持在内存中，而相对低频率的缓存则移动到磁盘中，两者之间的变化是动态的，一开始先缓存在内存，然后发现内存缓存快满时，移出低频率访问的文件到磁盘中，类似这样一个需求（理由就是内存的访问速度较快，一个文件几M大小），目前所使用的缓存是Nginx的proxy_cache。想请教各位有什么比较优雅的方式来实现这个需求呢？使用ngx_lua？还是模块实现？还是？

chenhuachaoxyz

ngx_lua+redis 自己实现如何？

在 2017年2月27日星期一 UTC+8下午5:54:18，dingdon...@gmail.com写道：

hello all,
有这样一个需求，需要使得高频率访问的缓存尽量保持在内存中，而相对低频率的缓存则移动到磁盘中，两者之间的变化是动态的，一开始先缓存在内存，然后发现内存缓存快满时，移出低频率访问的文件到磁盘中，类似这样一个需求（理由就是内存的访问速度较快，一个文件几M大小），目前所使用的缓存是Nginx的proxy_cache。想请教各位有什么比较优雅的方式来实现这个需求呢？使用ngx_lua？还是模块实现？还是？

leiqin2010

On 2017-02-27 01:54:18 -0800, dingdon...@gmail.com wrote:
> hello all,
>       有这样一个需求， 需要使得高频率访问的缓存尽量保持在内存中， 而相对低频率的缓存则移动到磁盘中， 
> 两者之间的变化是动态的，一开始先缓存在内存，然后发现内存缓存快满时，移出低频率访问的文件到磁盘中，类似这样一个需求（理由就是内存的访问速度较快， 
> 一个文件几M大小）， 目前所使用的缓存是Nginx的proxy_cache。 想请教各位有什么比较优雅的方式来实现这个需求呢？ 使用ngx_lua？ 
> 还是模块实现？ 还是？ 

用 squid 如何，squid 本身就支持你的需求。

dingdongnigetou

hi,

squid本身的缓存会根据命中率在内存与磁盘中动态分配么？thx!
On Tuesday, February 28, 2017 at 10:11:03 AM UTC+8, 雷钦 wrote:

On 2017-02-27 01:54:18 -0800, dingdon...@gmail.com wrote:
> hello all,
> 有这样一个需求，需要使得高频率访问的缓存尽量保持在内存中，而相对低频率的缓存则移动到磁盘中，
> 两者之间的变化是动态的，一开始先缓存在内存，然后发现内存缓存快满时，移出低频率访问的文件到磁盘中，类似这样一个需求（理由就是内存的访问速度较快，
> 一个文件几M大小），目前所使用的缓存是Nginx的proxy_cache。想请教各位有什么比较优雅的方式来实现这个需求呢？使用ngx_lua？
> 还是模块实现？还是？

用 squid 如何，squid 本身就支持你的需求。

dingdongnigetou

hi,

你的意思是在ngx_lua中根据访问频率，然后平衡redis与磁盘之间的缓存？thx！

On Tuesday, February 28, 2017 at 9:35:03 AM UTC+8, CHCHC wrote:

ngx_lua+redis 自己实现如何？

在 2017年2月27日星期一 UTC+8下午5:54:18，dingdon...@gmail.com写道：
hello all,
有这样一个需求，需要使得高频率访问的缓存尽量保持在内存中，而相对低频率的缓存则移动到磁盘中，两者之间的变化是动态的，一开始先缓存在内存，然后发现内存缓存快满时，移出低频率访问的文件到磁盘中，类似这样一个需求（理由就是内存的访问速度较快，一个文件几M大小），目前所使用的缓存是Nginx的proxy_cache。想请教各位有什么比较优雅的方式来实现这个需求呢？使用ngx_lua？还是模块实现？还是？

dingdongnigetou

hi all,

我想可以这样做，建两个upstream A&B, 对应两个cache，A挂内存，B挂磁盘，然后ngx_lua做逻辑处理，一开始来的请求都分发给A, 并存储对应的访问频率，当内存利用率达到一定值时，就开始purge掉内存中的缓存，然后分发给B。若是磁盘中有比较高频的访问，也可重新分发到A。这样感觉可行，实现也简单噢:)

On Monday, February 27, 2017 at 5:54:18 PM UTC+8, dingdon...@gmail.com wrote:

hello all,
有这样一个需求，需要使得高频率访问的缓存尽量保持在内存中，而相对低频率的缓存则移动到磁盘中，两者之间的变化是动态的，一开始先缓存在内存，然后发现内存缓存快满时，移出低频率访问的文件到磁盘中，类似这样一个需求（理由就是内存的访问速度较快，一个文件几M大小），目前所使用的缓存是Nginx的proxy_cache。想请教各位有什么比较优雅的方式来实现这个需求呢？使用ngx_lua？还是模块实现？还是？