请教一个关于设计方面的问题

pengzhixi68

我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

lancelijade

1. 数据库更新时，触发导出成文本文件 dat

2. openresty 启动时(init_by_lua)，加载 dat，存入 ngx.shared.DICT

3. 编写 dat 更新脚本，当 1 发生且 openresty 正在运行时，动态加载 dat 更新 ngx.shared.DICT

4. 查询时直接读 ngx.shared.DICT

其中， 1、2两步中导出 dat 可以改成用 openresty 直接读库，但和导出文件比各有优缺点
2 中如果数据量过大，可用 redis 代替 shared.DICT

Lance

2015-06-01 9:32 GMT+08:00 <pengz...@gmail.com>:

我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

--

lilizhijack

你可以把数据库的数据放到redis里面，请求过来了直接去redis里面查找这样应该效率会高很多

当然了nginx的字典也可以不过我觉得redis扩展性更好一点

在 2015年6月1日星期一 UTC+8上午9:32:16，pengz...@gmail.com写道：

我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

pengzhixi68

看来两位都建议用redis,就是说在init_by_lua的时候把数据库的数据写入redis模块，然后业务的查询通过redis模块来查询，遇到新数据可以同时往数据库和redis里面添加新数据，修改也是同时修改redis和数据库的。好的，谢谢两位，去熟悉redis和openresty了。刚开始学些nginx和openresty，很多模块完全不熟。以后有问题再请教。再次感谢！！

在 2015年6月2日星期二 UTC+8上午11:45:24，syz写道：

你可以把数据库的数据放到redis里面，请求过来了直接去redis里面查找这样应该效率会高很多
当然了nginx的字典也可以不过我觉得redis扩展性更好一点

在 2015年6月1日星期一 UTC+8上午9:32:16，pengz...@gmail.com写道：
我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

lancelijade

取决于数据量，小的话用 shared_dict 比较方便，不需要另外架一个服务

Lance

2015-06-02 14:08 GMT+08:00 <pengz...@gmail.com>:

看来两位都建议用redis,就是说在init_by_lua的时候把数据库的数据写入redis模块，然后业务的查询通过redis模块来查询，遇到新数据可以同时往数据库和redis里面添加新数据，修改也是同时修改redis和数据库的。好的，谢谢两位，去熟悉redis和openresty了。刚开始学些nginx和openresty，很多模块完全不熟。以后有问题再请教。再次感谢！！

在 2015年6月2日星期二 UTC+8上午11:45:24，syz写道：
你可以把数据库的数据放到redis里面，请求过来了直接去redis里面查找这样应该效率会高很多
当然了nginx的字典也可以不过我觉得redis扩展性更好一点

在 2015年6月1日星期一 UTC+8上午9:32:16，pengz...@gmail.com写道：
我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

--

pengzhixi68

您好！数据量在千万级以上，不过并不是一开始就有千万级，是一个增量型的

在 2015年6月2日星期二 UTC+8下午2:21:41，Lance Li写道：

取决于数据量，小的话用 shared_dict 比较方便，不需要另外架一个服务

Lance

2015-06-02 14:08 GMT+08:00 <pengz...@gmail.com>:
看来两位都建议用redis,就是说在init_by_lua的时候把数据库的数据写入redis模块，然后业务的查询通过redis模块来查询，遇到新数据可以同时往数据库和redis里面添加新数据，修改也是同时修改redis和数据库的。好的，谢谢两位，去熟悉redis和openresty了。刚开始学些nginx和openresty，很多模块完全不熟。以后有问题再请教。再次感谢！！

在 2015年6月2日星期二 UTC+8上午11:45:24，syz写道：
你可以把数据库的数据放到redis里面，请求过来了直接去redis里面查找这样应该效率会高很多
当然了nginx的字典也可以不过我觉得redis扩展性更好一点

在 2015年6月1日星期一 UTC+8上午9:32:16，pengz...@gmail.com写道：
我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

--

lancelijade

redis吧，管理方案比较成熟

Lance

2015-06-04 9:46 GMT+08:00 <pengz...@gmail.com>:

您好！数据量在千万级以上，不过并不是一开始就有千万级，是一个增量型的

在 2015年6月2日星期二 UTC+8下午2:21:41，Lance Li写道：
取决于数据量，小的话用 shared_dict 比较方便，不需要另外架一个服务

Lance

2015-06-02 14:08 GMT+08:00 <pengz...@gmail.com>:
看来两位都建议用redis,就是说在init_by_lua的时候把数据库的数据写入redis模块，然后业务的查询通过redis模块来查询，遇到新数据可以同时往数据库和redis里面添加新数据，修改也是同时修改redis和数据库的。好的，谢谢两位，去熟悉redis和openresty了。刚开始学些nginx和openresty，很多模块完全不熟。以后有问题再请教。再次感谢！！

在 2015年6月2日星期二 UTC+8上午11:45:24，syz写道：
你可以把数据库的数据放到redis里面，请求过来了直接去redis里面查找这样应该效率会高很多
当然了nginx的字典也可以不过我觉得redis扩展性更好一点

在 2015年6月1日星期一 UTC+8上午9:32:16，pengz...@gmail.com写道：
我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

--

--

pengzhixi68

还向您请教下，就是我是不是在lua初始化脚本里面把数据库的数据读到redis么?另外万一redis进程重启了，我怎么再次把数据库的数据读到redis呢

在 2015年6月4日星期四 UTC+8上午11:06:05，Lance Li写道：

redis吧，管理方案比较成熟

Lance

2015-06-04 9:46 GMT+08:00 <pengz...@gmail.com>:
您好！数据量在千万级以上，不过并不是一开始就有千万级，是一个增量型的

在 2015年6月2日星期二 UTC+8下午2:21:41，Lance Li写道：
取决于数据量，小的话用 shared_dict 比较方便，不需要另外架一个服务

Lance

2015-06-02 14:08 GMT+08:00 <pengz...@gmail.com>:
看来两位都建议用redis,就是说在init_by_lua的时候把数据库的数据写入redis模块，然后业务的查询通过redis模块来查询，遇到新数据可以同时往数据库和redis里面添加新数据，修改也是同时修改redis和数据库的。好的，谢谢两位，去熟悉redis和openresty了。刚开始学些nginx和openresty，很多模块完全不熟。以后有问题再请教。再次感谢！！

在 2015年6月2日星期二 UTC+8上午11:45:24，syz写道：
你可以把数据库的数据放到redis里面，请求过来了直接去redis里面查找这样应该效率会高很多
当然了nginx的字典也可以不过我觉得redis扩展性更好一点

在 2015年6月1日星期一 UTC+8上午9:32:16，pengz...@gmail.com写道：
我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

--

--

lancelijade

redis 重启你知道吗？如果不知道，加监测。如果知道，随便用什么语言，比如 resty 命令行，都可以干这事

Lance

2015-06-17 17:30 GMT+08:00 <pengz...@gmail.com>:

还向您请教下，就是我是不是在lua初始化脚本里面把数据库的数据读到redis么?另外万一redis进程重启了，我怎么再次把数据库的数据读到redis呢

在 2015年6月4日星期四 UTC+8上午11:06:05，Lance Li写道：
redis吧，管理方案比较成熟

Lance

2015-06-04 9:46 GMT+08:00 <pengz...@gmail.com>:
您好！数据量在千万级以上，不过并不是一开始就有千万级，是一个增量型的

在 2015年6月2日星期二 UTC+8下午2:21:41，Lance Li写道：
取决于数据量，小的话用 shared_dict 比较方便，不需要另外架一个服务

Lance

2015-06-02 14:08 GMT+08:00 <pengz...@gmail.com>:
看来两位都建议用redis,就是说在init_by_lua的时候把数据库的数据写入redis模块，然后业务的查询通过redis模块来查询，遇到新数据可以同时往数据库和redis里面添加新数据，修改也是同时修改redis和数据库的。好的，谢谢两位，去熟悉redis和openresty了。刚开始学些nginx和openresty，很多模块完全不熟。以后有问题再请教。再次感谢！！

在 2015年6月2日星期二 UTC+8上午11:45:24，syz写道：
你可以把数据库的数据放到redis里面，请求过来了直接去redis里面查找这样应该效率会高很多
当然了nginx的字典也可以不过我觉得redis扩展性更好一点

在 2015年6月1日星期一 UTC+8上午9:32:16，pengz...@gmail.com写道：
我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

--

--

--

membphis

redis是支持久化的。所以redis进程重启了，是不会丢失数据的。

On Wednesday, June 17, 2015 at 5:30:32 PM UTC+8, pengz...@gmail.com wrote:

还向您请教下，就是我是不是在lua初始化脚本里面把数据库的数据读到redis么?另外万一redis进程重启了，我怎么再次把数据库的数据读到redis呢

在 2015年6月4日星期四 UTC+8上午11:06:05，Lance Li写道：
redis吧，管理方案比较成熟

Lance

2015-06-04 9:46 GMT+08:00 <pengz...@gmail.com>:
您好！数据量在千万级以上，不过并不是一开始就有千万级，是一个增量型的

在 2015年6月2日星期二 UTC+8下午2:21:41，Lance Li写道：
取决于数据量，小的话用 shared_dict 比较方便，不需要另外架一个服务

Lance

2015-06-02 14:08 GMT+08:00 <pengz...@gmail.com>:
看来两位都建议用redis,就是说在init_by_lua的时候把数据库的数据写入redis模块，然后业务的查询通过redis模块来查询，遇到新数据可以同时往数据库和redis里面添加新数据，修改也是同时修改redis和数据库的。好的，谢谢两位，去熟悉redis和openresty了。刚开始学些nginx和openresty，很多模块完全不熟。以后有问题再请教。再次感谢！！

在 2015年6月2日星期二 UTC+8上午11:45:24，syz写道：
你可以把数据库的数据放到redis里面，请求过来了直接去redis里面查找这样应该效率会高很多
当然了nginx的字典也可以不过我觉得redis扩展性更好一点

在 2015年6月1日星期一 UTC+8上午9:32:16，pengz...@gmail.com写道：
我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

--

--

lancelijade

重启时用持久化恢复数据，有可能丢掉重启过程中的更新，更简单的办法是直接走恢复，一般比diff更简单

Lance

2015-06-17 22:23 GMT+08:00 mem phis <mem...@gmail.com>:

redis是支持久化的。所以redis进程重启了，是不会丢失数据的。

On Wednesday, June 17, 2015 at 5:30:32 PM UTC+8, pengz...@gmail.com wrote:
还向您请教下，就是我是不是在lua初始化脚本里面把数据库的数据读到redis么?另外万一redis进程重启了，我怎么再次把数据库的数据读到redis呢

在 2015年6月4日星期四 UTC+8上午11:06:05，Lance Li写道：
redis吧，管理方案比较成熟

Lance

2015-06-04 9:46 GMT+08:00 <pengz...@gmail.com>:
您好！数据量在千万级以上，不过并不是一开始就有千万级，是一个增量型的

在 2015年6月2日星期二 UTC+8下午2:21:41，Lance Li写道：
取决于数据量，小的话用 shared_dict 比较方便，不需要另外架一个服务

Lance

2015-06-02 14:08 GMT+08:00 <pengz...@gmail.com>:
看来两位都建议用redis,就是说在init_by_lua的时候把数据库的数据写入redis模块，然后业务的查询通过redis模块来查询，遇到新数据可以同时往数据库和redis里面添加新数据，修改也是同时修改redis和数据库的。好的，谢谢两位，去熟悉redis和openresty了。刚开始学些nginx和openresty，很多模块完全不熟。以后有问题再请教。再次感谢！！

在 2015年6月2日星期二 UTC+8上午11:45:24，syz写道：
你可以把数据库的数据放到redis里面，请求过来了直接去redis里面查找这样应该效率会高很多
当然了nginx的字典也可以不过我觉得redis扩展性更好一点

在 2015年6月1日星期一 UTC+8上午9:32:16，pengz...@gmail.com写道：
我有个需求，用openresty来做一个调度，通过请求中传递一个url，我需要根据这个url来告诉他需要的文件在哪个节点上。这些查询的信息在千万级别以上，我一开始就打算把这些信息放到mysql数据库里面，然后请求来了我就把数据库查询的结果返回去。有个担心就是如果每次来请求我都要去链接一次数据库然后从数据库把查询结果返回会感觉效率不高。因为这些信息主要用来查询，修改相对比较少，openresty有没有其他模块可以先把数据库的数据先一次load出来然后我用url生成一个md5做一个类似hash来进行查询，这样不用每次都去链接数据库。

--

--

--