Fwd: ngx_lua todo list

agentzh

Hello!

在这里转发一下我和晓哲在美国期间整理出来的 ngx_lua 模块近期的 TODO 列表 :) 随后我们再更新到 ngx_lua 的文档页上去，呵呵。欢迎大家讨论 :)

Best,
-agentzh

---------- Forwarded message ----------
From: Chaos Wang <chaos...@gmail.com>
Date: Tue, Apr 17, 2012 at 2:07 PM
Subject: ngx_lua todo list
To: agentzh <age...@gmail.com>

实现init/fini by lua指令，限制其中可用接口
实现cookie api
寻找高效的lua对象序列化和反序列化方案
实现可扩展的shared memory dict接口
capture接口出错时改为返回错误内容
实现lua代码的debug/profile支持
实现cosocket udp支持
实现非nginx功能分离/库化
thread/coroutine 实现(二者不一样，区别在于派生后主请求逻辑是否暂停)
实现运行超时保护(debug接口的开销，可能需要在独立线程中临时插入hook)
实现可选的主动分时(利用debug接口，有开销)
实现output body filter by lua指令(如何实现这里的i/o操作？)
tcp lua独立模块实现(工作量较大)
请求响应头操作时的定位从遍历改为哈希定位
set by lua和output header by lua从每次注入方法运行改为缓存closure运行(或patch nginx核心使其支持重入，和其他directive实现统一)
cosocket连接池分类策略，入池连接绑定用户自定义数据

zoom.quiet

在 2012年4月17日 下午3:14，agentzh <age...@gmail.com> 写道：
> 在这里转发一下我和晓哲在美国期间整理出来的 ngx_lua 模块近期的 TODO 列表 :) 随后我们再更新到 ngx_lua
> 的文档页上去，呵呵。欢迎大家讨论 :)
>

- 期待!非常給力的目标
- 建议定期发布吧,不要一次都包含进来
    - 每3周发送一个小的稳定版本
    - 休息一周接受欢呼,然后继续,,,

> Best,
> -agentzh
>
> ---------- Forwarded message ----------
> From: Chaos Wang <chaos...@gmail.com>
> Date: Tue, Apr 17, 2012 at 2:07 PM
> Subject: ngx_lua todo list
> To: agentzh <age...@gmail.com>
>
> 实现init/fini by lua指令，限制其中可用接口
> 实现cookie api
> 寻找高效的lua对象序列化和反序列化方案
> 实现可扩展的shared memory dict接口
> capture接口出错时改为返回错误内容
> 实现lua代码的debug/profile支持
> 实现cosocket udp支持
> 实现非nginx功能分离/库化
> thread/coroutine 实现(二者不一样，区别在于派生后主请求逻辑是否暂停)
> 实现运行超时保护(debug接口的开销，可能需要在独立线程中临时插入hook)
> 实现可选的主动分时(利用debug接口，有开销)
> 实现output body filter by lua指令(如何实现这里的i/o操作？)
> tcp lua独立模块实现(工作量较大)
> 请求响应头操作时的定位从遍历改为哈希定位
> set by lua和output header by lua从每次注入方法运行改为缓存closure运行(或patch
> nginx核心使其支持重入，和其他directive实现统一)
> cosocket连接池分类策略，入池连 接绑定用户自定义数据
>
> --
人生苦短, Pythonic! 冗余不做,日子甭过!备份不做,十恶不赦!
俺: http://about.me/zoom.quiet
文字协议: http://creativecommons.org/licenses/by-sa/2.5/cn/

bigplum

急需 ngx.get_pid()

发现在lua中调用 io.popen("ps -o ppid= -p $$"):read("*a")，经常出现nil返回，
而且这个调用效率太差，在nginx中获取pid高效多了。


On Apr 17, 3:14 pm, agentzh <agen...@gmail.com> wrote:
> Hello!
>
> 在这里转发一下我和晓哲在美国期间整理出来的 ngx_lua 模块近期的 TODO 列表 :) 随后我们再更新到 ngx_lua
> 的文档页上去，呵呵。欢迎大家讨论 :)
>
> Best,
> -agentzh
>
> ---------- Forwarded message ----------
> From: Chaos Wang <chaoslaw...@gmail.com>
> Date: Tue, Apr 17, 2012 at 2:07 PM
> Subject: ngx_lua todo list
> To: agentzh <agen...@gmail.com>
>
>    - 实现init/fini by lua指令，限制其中可用接口
>    - 实现cookie api
>    - 寻找高效的lua对象序列化和反序列化方案
>    - 实现可扩展的shared memory dict接口
>    - capture接口出错时改为返回错误内容
>    - 实现lua代码的debug/profile支持
>    - 实现cosocket udp支持
>    - 实现非nginx功能分离/库化
>    - thread/coroutine 实现(二者不一样，区别在于派生后主请求逻辑是否暂停)
>    - 实现运行超时保护(debug接口的开销，可能需要在独立线程中临时插入hook)
>    - 实现可选的主动分时(利用debug接口，有开销)
>    - 实现output body filter by lua指令(如何实现这里的i/o操作？)
>    - tcp lua独立模块实现(工作量较大)
>    - 请求响应头操作时的定位从遍历改为哈希定位
>    - set by lua和output header by lua从每次注入方法运行改为缓存closure运行(或patch
>    nginx核心使其支持重入，和其他directive实现统一)
>    - cosocket连接池分类策略，入池连 接绑定用户自定义数据
>
>

agentzh

On Tue, Apr 17, 2012 at 4:31 PM, Simon <big...@gmail.com> wrote:
> 急需 ngx.get_pid()
>
> 发现在lua中调用 io.popen("ps -o ppid= -p $$"):read("*a")，经常出现nil返回，
> 而且这个调用效率太差，在nginx中获取pid高效多了。
>

你尝试过 ngx.var.pid 么？标准的 $pid 变量可以用于获取当前 nginx worker 进程的 pid :)

Regards,
-agentzh

bigplum

汗，发现漏看了半句话，谢谢老师

On Apr 17, 4:38 pm, agentzh <agen...@gmail.com> wrote:
> On Tue, Apr 17, 2012 at 4:31 PM, Simon <bigp...@gmail.com> wrote:
> > 急需 ngx.get_pid()
>
> > 发现在lua中调用 io.popen("ps -o ppid= -p $$"):read("*a")，经常出现nil返回，
> > 而且这个调用效率太差，在nginx中获取pid高效多了。
>
> 你尝试过 ngx.var.pid 么？标准的 $pid 变量可以用于获取当前 nginx worker 进程的 pid :)
>
> Regards,
> -agentzh

wd

multi 发子请求，每个返回的时候去回调回调函数，而不是等所有的返回，这个会考虑不

2012/4/17 agentzh <age...@gmail.com>:
> Hello!
>
> 在这里转发一下我和晓哲在美国期间整理出来的 ngx_lua 模块近期的 TODO 列表 :) 随后我们再更新到 ngx_lua
> 的文档页上去，呵呵。欢迎大家讨论 :)
>
> Best,
> -agentzh
>
> ---------- Forwarded message ----------
> From: Chaos Wang <chaos...@gmail.com>
> Date: Tue, Apr 17, 2012 at 2:07 PM
> Subject: ngx_lua todo list
> To: agentzh <age...@gmail.com>
>
> 实现init/fini by lua指令，限制其中可用接口
> 实现cookie api
> 寻找高效的lua对象序列化和反序列化方案
> 实现可扩展的shared memory dict接口
> capture接口出错时改为返回错误内容
> 实现lua代码的debug/profile支持
> 实现cosocket udp支持
> 实现非nginx功能分离/库化
> thread/coroutine 实现(二者不一样，区别在于派生后主请求逻辑是否暂停)
> 实现运行超时保护(debug接口的开销，可能需要在独立线程中临时插入hook)
> 实现可选的主动分时(利用debug接口，有开销)
> 实现output body filter by lua指令(如何实现这里的i/o操作？)
> tcp lua独立模块实现(工作量较大)
> 请求响应头操作时的定位从遍历改为哈希定位
> set by lua和output header by lua从每次注入方法运行改为缓存closure运行(或patch
> nginx核心使其支持重入，和其他directive实现统一)
> cosocket连接池分类策略，入池连 接绑定用户自定义数据
>
>

agentzh

On Wed, Apr 18, 2012 at 1:41 PM, wd <...@wdicc.com> wrote:
> multi 发子请求，每个返回的时候去回调回调函数，而不是等所有的返回，这个会考虑不
>

这个特性不会在 ngx.location.capture_multi API 中实现，而将会通过全新的基于 Lua coroutine 的
ngx.thread API 来实现相同的效果。比如下面这个例子：

    local thread = require "ngx.thread"

    function query1()
        local res = ngx.location.capture("/foo")
        if res.status == 200 then
            ngx.print(res.body)
        end
    end

    function query2()
        local res = ngx.location.capture("/bar")
        if res.status == 200 then
            ngx.print(res.body)
        end
    end

    local t1 = thread.new(query1)
    local t2 = thread.new(query2)

    -- threads t1 and t2 will run concurrently

这里的 ngx.thread API 并不会引入新的操作系统线程，而是和 ngx.location.capture_multi 使用类似的
I/O 多路复用的模式。

Regards,
-agentzh

smallfish.xy

http://wiki.nginx.org/HttpLuaModule#ngx.location.capture_multi

这个不是么？还是我理解错误了。。。
--

blog: http://chenxiaoyu.org

在 2012年4月18日下午1:41，wd <...@wdicc.com>写道：

multi 发子请求，每个返回的时候去回调回调函数，而不是等所有的返回，这个会考虑不

2012/4/17 agentzh <age...@gmail.com>:

> Hello!
>
> 在这里转发一下我和晓哲在美国期间整理出来的 ngx_lua 模块近期的 TODO 列表 :) 随后我们再更新到 ngx_lua
> 的文档页上去，呵呵。欢迎大家讨论 :)
>
> Best,
> -agentzh
>
> ---------- Forwarded message ----------
> From: Chaos Wang <chaos...@gmail.com>
> Date: Tue, Apr 17, 2012 at 2:07 PM
> Subject: ngx_lua todo list
> To: agentzh <age...@gmail.com>
>
> 实现init/fini by lua指令，限制其中可用接口
> 实现cookie api
> 寻找高效的lua对象序列化和反序列化方案
> 实现可扩展的shared memory dict接口
> capture接口出错时改为返回错误内容
> 实现lua代码的debug/profile支持
> 实现cosocket udp支持
> 实现非nginx功能分离/库化
> thread/coroutine 实现(二者不一样，区别在于派生后主请求逻辑是否暂停)
> 实现运行超时保护(debug接口的开销，可能需要在独立线程中临时插入hook)
> 实现可选的主动分时(利用debug接口，有开销)
> 实现output body filter by lua指令(如何实现这里的i/o操作？)
> tcp lua独立模块实现(工作量较大)
> 请求响应头操作时的定位从遍历改为哈希定位
> set by lua和output header by lua从每次注入方法运行改为缓存closure运行(或patch
> nginx核心使其支持重入，和其他directive实现统一)
> cosocket连接池分类策略，入池连接绑定用户自定义数据
>
>

lweiqiang

Hi, agentzh ,

关于"实现可扩展的shared memory dict接口 "

对这个很感兴趣。希望能得到更详细的解释。是否能解释下这里提到的可扩展是什么意思呢？

前段时间看了看shdict实现，发现机制和memcached有点相似。但是缺少一些有用的工具：比如统计信息，比如控制内存不足时是否evict，还有catch dump 这样的特性。

呵呵，我正想呢，如果五月份工作不忙，就在这一点上下点功夫。

Weiqiang Li

2012/4/17 agentzh <age...@gmail.com>

Hello!

在这里转发一下我和晓哲在美国期间整理出来的 ngx_lua 模块近期的 TODO 列表 :) 随后我们再更新到 ngx_lua 的文档页上去，呵呵。欢迎大家讨论 :)

Best,
-agentzh

---------- Forwarded message ----------
From: Chaos Wang <chaos...@gmail.com>
Date: Tue, Apr 17, 2012 at 2:07 PM
Subject: ngx_lua todo list
To: agentzh <age...@gmail.com>

实现init/fini by lua指令，限制其中可用接口

实现cookie api

寻找高效的lua对象序列化和反序列化方案

实现可扩展的shared memory dict接口

capture接口出错时改为返回错误内容

实现lua代码的debug/profile支持

实现cosocket udp支持

实现非nginx功能分离/库化

thread/coroutine 实现(二者不一样，区别在于派生后主请求逻辑是否暂停)

实现运行超时保护(debug接口的开销，可能需要在独立线程中临时插入hook)

实现可选的主动分时(利用debug接口，有开销)

实现output body filter by lua指令(如何实现这里的i/o操作？)

tcp lua独立模块实现(工作量较大)

请求响应头操作时的定位从遍历改为哈希定位

set by lua和output header by lua从每次注入方法运行改为缓存closure运行(或patch nginx核心使其支持重入，和其他directive实现统一)

cosocket连接池分类策略，入池连接绑定用户自定义数据

agentzh

On Wed, Apr 18, 2012 at 2:34 PM, Weiqiang <lwei...@gmail.com> wrote:
> Hi,  agentzh  ,
> 关于"实现可扩展的shared memory dict接口 "
>
> 对这个很感兴趣。希望能得到更详细的解释。是否能解释下这里提到的可扩展是什么意思呢？
>

就是允许用户通过自己的 nginx 模块来扩展或者替换 ngx_lua 中的 shared dict API 及其实现。

> 前段时间看了看shdict实现，发现机制和memcached有点相似。但是缺少一些有用的工具：比如统计信息，比如控制内存不足时是否evict，还有catch
> dump 这样的特性。
>

是的，这里可以添加的功能还有很多很多 :)

> 呵呵，我正想呢，如果五月份工作不忙，就在这一点上下点功夫。
>

非常欢迎 :)

Best regards,
-agentzh

lweiqiang

2012/4/18 agentzh <age...@gmail.com>

On Wed, Apr 18, 2012 at 2:34 PM, Weiqiang <lwei...@gmail.com> wrote:
> Hi, agentzh ,
> 关于"实现可扩展的shared memory dict接口 "
>
> 对这个很感兴趣。希望能得到更详细的解释。是否能解释下这里提到的可扩展是什么意思呢？
>

就是允许用户通过自己的 nginx 模块来扩展或者替换 ngx_lua 中的 shared dict API 及其实现。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

这个功能确实非常有用！

> 前段时间看了看shdict实现，发现机制和memcached有点相似。但是缺少一些有用的工具：比如统计信息，比如控制内存不足时是否evict，还有catch
> dump 这样的特性。
>

是的，这里可以添加的功能还有很多很多 :)

> 呵呵，我正想呢，如果五月份工作不忙，就在这一点上下点功夫。
>

非常欢迎 :)

Best regards,
-agentzh

wd

2012/4/18 agentzh <age...@gmail.com>:
>
> 这里的 ngx.thread API 并不会引入新的操作系统线程，而是和 ngx.location.capture_multi 使用类似的
> I/O 多路复用的模式。

恩，可以问问 xunxin 他们实际的需求，我理解他们想要的是类似 bigpipe 的那种效果，我感觉上你这个好像可以，我没有太多了解，呵呵。

liseen.wan

2012/4/19 wd <...@wdicc.com>

2012/4/18 agentzh <age...@gmail.com>:

>
> 这里的 ngx.thread API 并不会引入新的操作系统线程，而是和 ngx.location.capture_multi 使用类似的
> I/O 多路复用的模式。

恩，可以问问 xunxin 他们实际的需求，我理解他们想要的是类似 bigpipe 的那种效果，我感觉上你这个好像可以，我没有太多了解，呵呵。

就是我提给他的。

gwill.buzz

在 2012年4月17日 下午3:14，agentzh <age...@gmail.com> 写道：
> Hello!
>
> 在这里转发一下我和晓哲在美国期间整理出来的 ngx_lua 模块近期的 TODO 列表 :) 随后我们再更新到 ngx_lua
> 的文档页上去，呵呵。欢迎大家讨论 :)
>
> Best,
> -agentzh
>
> ---------- Forwarded message ----------
> From: Chaos Wang <chaos...@gmail.com>
> Date: Tue, Apr 17, 2012 at 2:07 PM
> Subject: ngx_lua todo list
> To: agentzh <age...@gmail.com>
>
> 实现init/fini by lua指令，限制其中可用接口
> 实现cookie api
> 寻找高效的lua对象序列化和反序列化方案

前两天看到一款移动应用从服务端传来的数据都是二进制数据，跟了一下知道是用了msgpack，发现在lua下也有msgpack的库。

不知道这个序列化方案怎么样？


> 实现可扩展的shared memory dict接口
> capture接口出错时改为返回错误内容
> 实现lua代码的debug/profile支持
> 实现cosocket udp支持
> 实现非nginx功能分离/库化
> thread/coroutine 实现(二者不一样，区别在于派生后主请求逻辑是否暂停)
> 实现运行超时保护(debug接口的开销，可能需要在独立线程中临时插入hook)
> 实现可选的主动分时(利用debug接口，有开销)
> 实现output body filter by lua指令(如何实现这里的i/o操作？)
> tcp lua独立模块实现(工作量较大)
> 请求响应头操作时的定位从遍历改为哈希定位
> set by lua和output header by lua从每次注入方法运行改为缓存closure运行(或patch
> nginx核心使其支持重入，和其他directive实现统一)
> cosocket连接池分类策略，入池连 接绑定用户自定义数据
>
>