shared dict 大小上线

475093045 · 2016-10-14T10:12:29+00:00

时间过得真快，一年一度的 OpenResty 大会又要来啦&#...

shared dict 大小上线

475093045

嗨各位：

之前看春哥一个帖子，内容如下：

https://groups.google.com/d/msg/openresty-en/U0UP_rSYpPM/9oNDLWZWBgAJ

其中：“there is a memory limit in GC-managed memory in each LuaJIT VM (which is per worker). The limit is 4GB on i386 and 1GB on x86_64 (with the luajit-mm plugin, the limit can be 2 GB on x86_64). ”

我的问题：

一个项目中shared dict设置2GB，开始报“no memory”，修改为4GB后，可以正常工作；

查看luajit官方文档：luajit2.1版本貌似已经没有这个限制了？“ LuaJIT 2.1 offers consistent 64 bit conversions for all integer formats. The unsigned formats also accept and convert negative numbers and re-interpret them as unsigned 64 bit integers.”

现在有点不确定，所以想请各位大大帮忙确定一下是否还有这个限制呢？

我使用的版本：

nginx version: openresty/1.9.7.4

Linux *** 2.6.32-358.11.1.el6.x86_64 #1 SMP Wed Jun 12 03:34:52 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

doujiang24

Hello

在 2016年10月14日上午10:12，赵建 <4750...@qq.com>写道：

嗨各位：
之前看春哥一个帖子，内容如下：
https://groups.google.com/d/msg/openresty-en/U0UP_rSYpPM/9oNDLWZWBgAJ
其中：“there is a memory limit in GC-managed memory in each LuaJIT VM (which is per worker). The limit is 4GB on i386 and 1GB on x86_64 (with the luajit-mm plugin, the limit can be 2 GB on x86_64). ”

我的问题：
一个项目中shared dict设置2GB，开始报“no memory”，修改为4GB后，可以正常工作；

shared dict 跟 LuaJIT VM 两回事哦

shared dict 只是 nginx 侧的共享内存，并不占用 LuaJIT VM 的空间

查看luajit官方文档：luajit2.1版本貌似已经没有这个限制了？“ LuaJIT 2.1 offers consistent 64 bit conversions for all integer formats. The unsigned formats also accept and convert negative numbers and re-interpret them as unsigned 64 bit integers.”
现在有点不确定，所以想请各位大大帮忙确定一下是否还有这个限制呢？

我使用的版本：
nginx version: openresty/1.9.7.4
LuaJIT 2.1.0-beta1 -- Copyright (C) 2005-2015 Mike Pall. http://luajit.org/
Linux *** 2.6.32-358.11.1.el6.x86_64 #1 SMP Wed Jun 12 03:34:52 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

--

475093045

谢谢doujiang 指点；

在 2016年10月15日星期六 UTC+8下午5:35:08，doujiang写道：

Hello

在 2016年10月14日上午10:12，赵建 <4750...@qq.com>写道：
嗨各位：
之前看春哥一个帖子，内容如下：
https://groups.google.com/d/msg/openresty-en/U0UP_rSYpPM/9oNDLWZWBgAJ
其中：“there is a memory limit in GC-managed memory in each LuaJIT VM (which is per worker). The limit is 4GB on i386 and 1GB on x86_64 (with the luajit-mm plugin, the limit can be 2 GB on x86_64). ”

我的问题：
一个项目中shared dict设置2GB，开始报“no memory”，修改为4GB后，可以正常工作；

看来是我理解错了... 这样是不是说shared dict 的大小上线就是机器的内存大小。

shared dict 跟 LuaJIT VM 两回事哦
shared dict 只是 nginx 侧的共享内存，并不占用 LuaJIT VM 的空间

查看luajit官方文档：luajit2.1版本貌似已经没有这个限制了？“ LuaJIT 2.1 offers consistent 64 bit conversions for all integer formats. The unsigned formats also accept and convert negative numbers and re-interpret them as unsigned 64 bit integers.”
现在有点不确定，所以想请各位大大帮忙确定一下是否还有这个限制呢？

我使用的版本：
nginx version: openresty/1.9.7.4
LuaJIT 2.1.0-beta1 -- Copyright (C) 2005-2015 Mike Pall. http://luajit.org/
Linux *** 2.6.32-358.11.1.el6.x86_64 #1 SMP Wed Jun 12 03:34:52 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

--

yuansheng

2016-10-17 10:25 GMT+08:00 laogen <4750...@qq.com>:

谢谢doujiang 指点；

在 2016年10月15日星期六 UTC+8下午5:35:08，doujiang写道：
Hello

在 2016年10月14日上午10:12，赵建 <4750...@qq.com>写道：
嗨各位：
之前看春哥一个帖子，内容如下：
https://groups.google.com/d/msg/openresty-en/U0UP_rSYpPM/9oNDLWZWBgAJ
其中：“there is a memory limit in GC-managed memory in each LuaJIT VM (which is per worker). The limit is 4GB on i386 and 1GB on x86_64 (with the luajit-mm plugin, the limit can be 2 GB on x86_64). ”

我的问题：
一个项目中shared dict设置2GB，开始报“no memory”，修改为4GB后，可以正常工作；

看来是我理解错了... 这样是不是说shared dict 的大小上线就是机器的内存大小。

肯定不是这样的。这里需要自己根据业务进行估算，计算出大小。

如果设置的太大，明显是浪费，并且可能会恶化服务器环境。

设置的过小，会导致频繁有数据淘汰刷写，引起大量的 CPU 计算。

当然也可以根据 https://github.com/openresty/stapxx#ngx-lua-shdict-writes 获取一下当前 share dict 的工作情况。

shared dict 跟 LuaJIT VM 两回事哦
shared dict 只是 nginx 侧的共享内存，并不占用 LuaJIT VM 的空间

查看luajit官方文档：luajit2.1版本貌似已经没有这个限制了？“ LuaJIT 2.1 offers consistent 64 bit conversions for all integer formats. The unsigned formats also accept and convert negative numbers and re-interpret them as unsigned 64 bit integers.”
现在有点不确定，所以想请各位大大帮忙确定一下是否还有这个限制呢？

我使用的版本：
nginx version: openresty/1.9.7.4
LuaJIT 2.1.0-beta1 -- Copyright (C) 2005-2015 Mike Pall. http://luajit.org/
Linux *** 2.6.32-358.11.1.el6.x86_64 #1 SMP Wed Jun 12 03:34:52 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

--

--

YuanSheng Wang

---------------------------------------

My Github: https://github.com/membphis

OpenResty lover ^_^

475093045

谢谢院长。

在 2016年10月17日星期一 UTC+8上午11:14:54，YuanSheng写道：

2016-10-17 10:25 GMT+08:00 laogen <4750...@qq.com>:
谢谢doujiang 指点；

在 2016年10月15日星期六 UTC+8下午5:35:08，doujiang写道：
Hello

在 2016年10月14日上午10:12，赵建 <4750...@qq.com>写道：
嗨各位：
之前看春哥一个帖子，内容如下：
https://groups.google.com/d/msg/openresty-en/U0UP_rSYpPM/9oNDLWZWBgAJ
其中：“there is a memory limit in GC-managed memory in each LuaJIT VM (which is per worker). The limit is 4GB on i386 and 1GB on x86_64 (with the luajit-mm plugin, the limit can be 2 GB on x86_64). ”

我的问题：
一个项目中shared dict设置2GB，开始报“no memory”，修改为4GB后，可以正常工作；

看来是我理解错了... 这样是不是说shared dict 的大小上线就是机器的内存大小。

肯定不是这样的。这里需要自己根据业务进行估算，计算出大小。
如果设置的太大，明显是浪费，并且可能会恶化服务器环境。
设置的过小，会导致频繁有数据淘汰刷写，引起大量的 CPU 计算。

当然也可以根据 https://github.com/openresty/stapxx#ngx-lua-shdict-writes 获取一下当前 share dict 的工作情况。

shared dict 跟 LuaJIT VM 两回事哦
shared dict 只是 nginx 侧的共享内存，并不占用 LuaJIT VM 的空间

查看luajit官方文档：luajit2.1版本貌似已经没有这个限制了？“ LuaJIT 2.1 offers consistent 64 bit conversions for all integer formats. The unsigned formats also accept and convert negative numbers and re-interpret them as unsigned 64 bit integers.”
现在有点不确定，所以想请各位大大帮忙确定一下是否还有这个限制呢？

我使用的版本：
nginx version: openresty/1.9.7.4
LuaJIT 2.1.0-beta1 -- Copyright (C) 2005-2015 Mike Pall. http://luajit.org/
Linux *** 2.6.32-358.11.1.el6.x86_64 #1 SMP Wed Jun 12 03:34:52 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

--

--

--

YuanSheng Wang
---------------------------------------
My Github: https://github.com/membphis
OpenResty lover ^_^

475093045

在 2016年10月17日星期一 UTC+8上午11:14:54，YuanSheng写道：

2016-10-17 10:25 GMT+08:00 laogen <4750...@qq.com>:
谢谢doujiang 指点；

在 2016年10月15日星期六 UTC+8下午5:35:08，doujiang写道：
Hello

在 2016年10月14日上午10:12，赵建 <4750...@qq.com>写道：
嗨各位：
之前看春哥一个帖子，内容如下：
https://groups.google.com/d/msg/openresty-en/U0UP_rSYpPM/9oNDLWZWBgAJ
其中：“there is a memory limit in GC-managed memory in each LuaJIT VM (which is per worker). The limit is 4GB on i386 and 1GB on x86_64 (with the luajit-mm plugin, the limit can be 2 GB on x86_64). ”

我的问题：
一个项目中shared dict设置2GB，开始报“no memory”，修改为4GB后，可以正常工作；

看来是我理解错了... 这样是不是说shared dict 的大小上线就是机器的内存大小。

肯定不是这样的。这里需要自己根据业务进行估算，计算出大小。
如果设置的太大，明显是浪费，并且可能会恶化服务器环境。
设置的过小，会导致频繁有数据淘汰刷写，引起大量的 CPU 计算。

嗯，业务数据在一直增长。目前所有的数据都在shared dict中，看来需要加一层缓存；

当然也可以根据 https://github.com/openresty/stapxx#ngx-lua-shdict-writes 获取一下当前 share dict 的工作情况。

嗯，我会用用这个工具查看一下当前的使用情况，谢谢指点；

shared dict 跟 LuaJIT VM 两回事哦
shared dict 只是 nginx 侧的共享内存，并不占用 LuaJIT VM 的空间

查看luajit官方文档：luajit2.1版本貌似已经没有这个限制了？“ LuaJIT 2.1 offers consistent 64 bit conversions for all integer formats. The unsigned formats also accept and convert negative numbers and re-interpret them as unsigned 64 bit integers.”
现在有点不确定，所以想请各位大大帮忙确定一下是否还有这个限制呢？

我使用的版本：
nginx version: openresty/1.9.7.4
LuaJIT 2.1.0-beta1 -- Copyright (C) 2005-2015 Mike Pall. http://luajit.org/
Linux *** 2.6.32-358.11.1.el6.x86_64 #1 SMP Wed Jun 12 03:34:52 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

--

--

--

YuanSheng Wang
---------------------------------------
My Github: https://github.com/membphis
OpenResty lover ^_^