写完不敢用的 lua module: Dynamic upstream from etcd

abistey · 2016-03-30T18:41:25+00:00

Hello! On Tue, Mar 29, 2016 at 5:59 AM, 458 hhh wrote: > nginx返回一下错误 > > HTTP/1.1 500 Internal Server Err...

写完不敢用的 lua module: Dynamic upstream from etcd

abistey

第一次在 OpenResty 下写 lua，十分粗糙，大神们见笑了。

极为简单的一个动态 upstream 的实现，原理大概介绍一下：

1. etcd 存储 upstream 的信息，结构如下：

/.../services/service1/127.0.0.1:8888
/.../services/service1/127.0.0.2:7777
/.../services/service2/127.0.1.1:8888
/.../services/service2/127.0.1.2:7777
...

2. 在 init_worker_by_lua 中，初始化 upstream 数据：如果有 dump file 则从 dump file 中读取。如果没有，则遍历 etcd 中的 /services/ 目录，拿到所有的数据。

3. upstream 数据存在 lua module 实例中。

4. 使用 ngx.timer.at 开启一个循环，利用 etcd 的 watch api 监听 /services/ 目录下的变化，并更新到 module 数据中。

5. worker 之间使用 shared dict 来抢占一个锁，抢到的将最新的变化 dump 到 file 中。以便在 reload 的时候读取。

欢迎 pr……欢迎批评。

https://github.com/rrfeng/lua-resty-dyups-etcd

guanglinlv

赞，终于完成了；

我也有类似的场景，我的实现是基于Redis的。不过我没做订阅，完全是业务触发时查询Redis，当然内存里会做缓存；

另外，我没有dump file的概念，但是我有文件路由的概念。Redis通信失败时会查询文件路由。

准备参考你的dump file的概念哈。

在 2016年3月30日星期三 UTC+8下午6:41:25，rr Feng写道：

第一次在 OpenResty 下写 lua，十分粗糙，大神们见笑了。

极为简单的一个动态 upstream 的实现，原理大概介绍一下：

1. etcd 存储 upstream 的信息，结构如下：
/.../services/service1/127.0.0.1:8888 /.../services/service1/127.0.0.2:7777 /.../services/service2/127.0.1.1:8888 /.../services/service2/127.0.1.2:7777 ...

2. 在 init_worker_by_lua 中，初始化 upstream 数据：如果有 dump file 则从 dump file 中读取。如果没有，则遍历 etcd 中的 /services/ 目录，拿到所有的数据。
3. upstream 数据存在 lua module 实例中。
4. 使用 ngx.timer.at 开启一个循环，利用 etcd 的 watch api 监听 /services/ 目录下的变化，并更新到 module 数据中。
5. worker 之间使用 shared dict 来抢占一个锁，抢到的将最新的变化 dump 到 file 中。以便在 reload 的时候读取。

欢迎 pr……欢迎批评。

https://github.com/rrfeng/lua-resty-dyups-etcd

guanglinlv

共享内存锁，可以考虑直接使用https://github.com/openresty/lua-resty-lock

abistey

dump file 是受 weibo 的 nginx_upsync_module 启发，并且为了解决 reload 的时候 upstream 数据不完整导致短暂的不可用的问题。

没用 lua-resty-lock 是因为其实我还需要一个 dict 来存当前的版本号，避免 dump 过旧的版本。所以其实自己实现一个 lock 并不困难……（从 lua-resty-upstream-healthcheck 抄过来的 XD）。

On Thursday, March 31, 2016 at 5:25:29 PM UTC+8, Guanglin Lv wrote:

赞，终于完成了；

我也有类似的场景，我的实现是基于Redis的。不过我没做订阅，完全是业务触发时查询Redis，当然内存里会做缓存；

另外，我没有dump file的概念，但是我有文件路由的概念。Redis通信失败时会查询文件路由。

准备参考你的dump file的概念哈。

在 2016年3月30日星期三 UTC+8下午6:41:25，rr Feng写道：
第一次在 OpenResty 下写 lua，十分粗糙，大神们见笑了。

极为简单的一个动态 upstream 的实现，原理大概介绍一下：

1. etcd 存储 upstream 的信息，结构如下：
/.../services/service1/127.0.0.1:8888 /.../services/service1/127.0.0.2:7777 /.../services/service2/127.0.1.1:8888 /.../services/service2/127.0.1.2:7777 ...

2. 在 init_worker_by_lua 中，初始化 upstream 数据：如果有 dump file 则从 dump file 中读取。如果没有，则遍历 etcd 中的 /services/ 目录，拿到所有的数据。
3. upstream 数据存在 lua module 实例中。
4. 使用 ngx.timer.at 开启一个循环，利用 etcd 的 watch api 监听 /services/ 目录下的变化，并更新到 module 数据中。
5. worker 之间使用 shared dict 来抢占一个锁，抢到的将最新的变化 dump 到 file 中。以便在 reload 的时候读取。

欢迎 pr……欢迎批评。

https://github.com/rrfeng/lua-resty-dyups-etcd