请问有无添加支持thread_pool操作的计划？ - OpenResty Forum

请问有无添加支持thread_pool操作的计划？

terry.an.bj

hi all,

请问有无添加支持thread_pool操作的计划？

谢谢~

terry...@gmail.com

agentzh

Hello!

2015-12-06 22:08 GMT-08:00 terry.an.bj:
>     请问有无添加支持thread_pool操作的计划？
>

有计划为 nginx 的 OS 线程池暴露接口。但暴露的层面还不确定。你希望对应的 Lua API 是什么样子的？你希望能有哪些用法？

Regards,
-agentzh

terry.an.bj

我想完全替换掉 LuaFileSystem模块，使用类似 ngx.fs.read ngx.fs.write 等给LUA提供接口。

其ngx.fs.read 和 ngx.fs.write 为使用nginx thread_pool实现的io操作。

terry...@gmail.com

发件人： Yichun Zhang (agentzh)
发送时间： 2015-12-07 14:13
收件人： openresty
主题： Re: [openresty] 请问有无添加支持thread_pool操作的计划？
Hello!

2015-12-06 22:08 GMT-08:00 terry.an.bj:

> 请问有无添加支持thread_pool操作的计划？

>

有计划为 nginx 的 OS 线程池暴露接口。但暴露的层面还不确定。你希望对应的 Lua API 是什么样子的？你希望能有哪些用法？

Regards,

-agentzh

--

--

邮件来自列表“openresty”,专用于技术讨论!

订阅: 请发空白邮件到 openresty+subscribe@googlegroups.com

发言: 请发邮件到 openresty@googlegroups.com

退订: 请发邮件至 openresty+unsubscribe@googlegroups.com

归档: http://groups.google.com/group/openresty

官网: http://openresty.org/

仓库: https://github.com/agentzh/ngx_openresty

教程: http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html

terry.an.bj

https://github.com/anhk/lua-resty-fs/blob/master/src/ngx_resty_fs_module.c

这是我随便写的一个小代码，基于thread_pool的一个lua线程唤醒代码，代码可以正确的执行，lua也能正确的resume，但是lua执行完毕后，TCP连接状态是CLOSE_WAIT状态。

感觉这个连接没有再次加入到epoll里。

请指教~

terry...@gmail.com

发件人： Yichun Zhang (agentzh)
发送时间： 2015-12-07 14:13
收件人： openresty
主题： Re: [openresty] 请问有无添加支持thread_pool操作的计划？
Hello!

2015-12-06 22:08 GMT-08:00 terry.an.bj:

> 请问有无添加支持thread_pool操作的计划？

>

有计划为 nginx 的 OS 线程池暴露接口。但暴露的层面还不确定。你希望对应的 Lua API 是什么样子的？你希望能有哪些用法？

Regards,

-agentzh

--

--

邮件来自列表“openresty”,专用于技术讨论!

订阅: 请发空白邮件到 openresty+subscribe@googlegroups.com

发言: 请发邮件到 openresty@googlegroups.com

退订: 请发邮件至 openresty+unsubscribe@googlegroups.com

归档: http://groups.google.com/group/openresty

官网: http://openresty.org/

仓库: https://github.com/agentzh/ngx_openresty

教程: http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html

agentzh

Hello!

2015-12-06 22:56 GMT-08:00 terry.an.bj:
> 我想完全替换掉 LuaFileSystem模块，使用类似 ngx.fs.read  ngx.fs.write 等给LUA提供接口。
>
> 其ngx.fs.read 和 ngx.fs.write 为使用nginx thread_pool实现的io操作。
>

了解了。这个文件 IO 的接口必然会有 :)

> https://github.com/anhk/lua-resty-fs/blob/master/src/ngx_resty_fs_module.c
>
> 这是我随便写的一个小代码，基于thread_pool的一个lua线程唤醒代码，代码可以正确的执行，lua也能正确的resume，但是lua执行完毕后，TCP连接状态是CLOSE_WAIT状态。
> 感觉这个连接没有再次加入到epoll里。

大致看了一眼你的这个实现，貌似你的 event_callback 函数实现得过于简单了，不是直接调用 lua_resume
就足够的。建议仔细参考一下 ngx.sleep() 函数在 ngx_lua 核心中的实现。对于 resume
还是有一些相对固定的工作要做的。另外，你还需要考虑 yield 的轻线程被提前杀死时的清理工作（需要事先注册自己的 cleanup 函数）。

Regards,
-agentzh

chen.wei37

顶，这个我也想要。

陈伟 Chen Wei 多媒体业务产品部
	云计算及IT产品经营部
	Cloud Computing & IT Product Operation
1/F, Building No. 3, ZTE Corporation, Yuhuatai District, , Nanjing, P.R.China, 210012 Mobile: +86-18913979100 Email: chen...@zte.com.cn More Information: VAS 、Cloud

发件人: "terry...@gmail.com" <terry...@gmail.com>
收件人: openresty <openresty@googlegroups.com>,
日期: 2015/12/07 14:57
主题: Re: Re: [openresty] 请问有无添加支持thread_pool操作的计划？
发件人: openresty@googlegroups.com

我想完全替换掉 LuaFileSystem模块，使用类似 ngx.fs.read ngx.fs.write 等给LUA提供接口。

其ngx.fs.read 和 ngx.fs.write 为使用nginx thread_pool实现的io操作。

terry...@gmail.com

发件人： Yichun Zhang (agentzh)
发送时间： 2015-12-07 14:13
收件人： openresty
主题： Re: [openresty] 请问有无添加支持thread_pool操作的计划？
Hello!

2015-12-06 22:08 GMT-08:00 terry.an.bj:
> 请问有无添加支持thread_pool操作的计划？
>

有计划为 nginx 的 OS 线程池暴露接口。但暴露的层面还不确定。你希望对应的 Lua API 是什么样子的？你希望能有哪些用法？

Regards,
-agentzh

--
--
邮件来自列表“openresty”,专用于技术讨论!
订阅: 请发空白邮件到 openresty+subscribe@googlegroups.com
发言: 请发邮件到 openresty@googlegroups.com
退订: 请发邮件至 openresty+unsubscribe@googlegroups.com
归档: http://groups.google.com/group/openresty
官网: http://openresty.org/
仓库: https://github.com/agentzh/ngx_openresty
教程: http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html

--


--------------------------------------------------------
ZTE Information Security Notice: The information contained in this mail (and any attachment transmitted herewith) is privileged and confidential and is intended for the exclusive use of the addressee(s).  If you are not an intended recipient, any disclosure, reproduction, distribution or other dissemination or use of the information contained is strictly prohibited.  If you have received this mail in error, please delete it and notify us immediately.

terry.an.bj

hi all，

我感觉使用lua_yield和lua_resume后，这个请求就跟lua-nginx-module脱离了。

需要将该请求加入到lua-nginx-module之后继续进行lua虚拟机流程。

ngx_http_lua_sleep.c我看了很久，感觉和ngx_lua核心的关联性太强了。

另外春哥能否明示下“除了cleanup的固定的操作”都包括啥？

谢谢~

在 2015年12月7日下午3:27，Yichun Zhang (agentzh) <age...@gmail.com>写道：

Hello!

2015-12-06 22:56 GMT-08:00 terry.an.bj:
> 我想完全替换掉 LuaFileSystem模块，使用类似 ngx.fs.read ngx.fs.write 等给LUA提供接口。
>
> 其ngx.fs.read 和 ngx.fs.write 为使用nginx thread_pool实现的io操作。
>

了解了。这个文件 IO 的接口必然会有 :)

> https://github.com/anhk/lua-resty-fs/blob/master/src/ngx_resty_fs_module.c
>
> 这是我随便写的一个小代码，基于thread_pool的一个lua线程唤醒代码，代码可以正确的执行，lua也能正确的resume，但是lua执行完毕后，TCP连接状态是CLOSE_WAIT状态。
> 感觉这个连接没有再次加入到epoll里。

大致看了一眼你的这个实现，貌似你的 event_callback 函数实现得过于简单了，不是直接调用 lua_resume
就足够的。建议仔细参考一下 ngx.sleep() 函数在 ngx_lua 核心中的实现。对于 resume
还是有一些相对固定的工作要做的。另外，你还需要考虑 yield 的轻线程被提前杀死时的清理工作（需要事先注册自己的 cleanup 函数）。

Regards,
-agentzh

--

agentzh

Hello!

2015-12-07 0:36 GMT-08:00 Terry An:
> 我感觉使用lua_yield和lua_resume后，这个请求就跟lua-nginx-module脱离了。
> 需要将该请求加入到lua-nginx-module之后继续进行lua虚拟机流程。
> ngx_http_lua_sleep.c我看了很久，感觉和ngx_lua核心的关联性太强了。
>

不可能脱离的，因为 ngx_lua 的轻线程都是在 ngx_lua 核心中的调度器里面进行管理的。你脱离开 ngx_lua
的轻线程调度器自己进行调度，必然会有问题。

> 另外春哥能否明示下“除了cleanup的 固定的操作”都包括啥？
>

比如用户可以通过 ngx.thread.kill() 提前“杀掉”正被你 yield 掉的轻线程。你可以参考 ngx.sleep() 注册的
cleanup 回调的实现（在那里就是清除尚未过期的 timer）。

Regards,
-agentzh

cuiweixie

用ngx_http_lua_run_thread恢复会比较好

在 2015年12月7日星期一 UTC+8下午4:36:43，Terry An写道：

hi all，

我感觉使用lua_yield和lua_resume后，这个请求就跟lua-nginx-module脱离了。
需要将该请求加入到lua-nginx-module之后继续进行lua虚拟机流程。
ngx_http_lua_sleep.c我看了很久，感觉和ngx_lua核心的关联性太强了。

另外春哥能否明示下“除了cleanup的固定的操作”都包括啥？

谢谢~

在 2015年12月7日下午3:27，Yichun Zhang (agentzh) <age...@gmail.com>写道：
Hello!

2015-12-06 22:56 GMT-08:00 terry.an.bj:
> 我想完全替换掉 LuaFileSystem模块，使用类似 ngx.fs.read ngx.fs.write 等给LUA提供接口。
>
> 其ngx.fs.read 和 ngx.fs.write 为使用nginx thread_pool实现的io操作。
>

了解了。这个文件 IO 的接口必然会有 :)

> https://github.com/anhk/lua-resty-fs/blob/master/src/ngx_resty_fs_module.c
>
> 这是我随便写的一个小代码，基于thread_pool的一个lua线程唤醒代码，代码可以正确的执行，lua也能正确的resume，但是lua执行完毕后，TCP连接状态是CLOSE_WAIT状态。
> 感觉这个连接没有再次加入到epoll里。

大致看了一眼你的这个实现，貌似你的 event_callback 函数实现得过于简单了，不是直接调用 lua_resume
就足够的。建议仔细参考一下 ngx.sleep() 函数在 ngx_lua 核心中的实现。对于 resume
还是有一些相对固定的工作要做的。另外，你还需要考虑 yield 的轻线程被提前杀死时的清理工作（需要事先注册自己的 cleanup 函数）。

Regards,
-agentzh

--

chenweidelphi

在交换机上做80端口的策略路由到缓存服务器，如果请求是GET，则走NGINX的PROXY_PASS,如果非GET，则走TCP_PROXY,不知如何实现。

yuansheng_2f16

如果你要做的是 TCPPROXY ，那么这个时候只能使用 NGINX STREAM 方式。这时候是4层协议处理，而 HTTP 协议是7层协议，两个不在一个层面。

要么全部走 STREAM PROXY，要么全部走 HTTP 方式。

On Sun, Dec 20, 2015 at 1:48 PM, 泡泡鱼 <chenwe...@qq.com> wrote:

在交换机上做80端口的策略路由到缓存服务器，如果请求是GET，则走NGINX的PROXY_PASS,如果非GET，则走TCP_PROXY,不知如何实现。

--

--

Membhis

My github: https://github.com/membphis

Our Book: OpenResty Best Practices

chenweidelphi

场景这样的，PBR策略路由TCP_80之后希望对HTTP协议能进行缓存，对非HTTP协议能旁路走TCP透明代理的方式出去，否则这些非HTTP的TCP80请求会无法服务，这部分用户就会报障。

但是如果用NGINX STREAM方式，则NGINX的HTTP机制恐怕就用不上了。

我想能粘合NGINX的HTTP PROXY和TCP PROXY的功能，能用一个简单的办法实现上述场景。

------------------ 原始邮件 ------------------

发件人: "yuansheng";<yuan...@iresty.org>;

发送时间: 2015年12月20日(星期天) 晚上8:25

收件人: "openresty"<openresty@googlegroups.com>;

主题: Re: [openresty] 请问如何实现PBR模式下的TCPPROXY

如果你要做的是 TCPPROXY ，那么这个时候只能使用 NGINX STREAM 方式。这时候是4层协议处理，而 HTTP 协议是7层协议，两个不在一个层面。

要么全部走 STREAM PROXY，要么全部走 HTTP 方式。

On Sun, Dec 20, 2015 at 1:48 PM, 泡泡鱼 <chenwe...@qq.com> wrote:

在交换机上做80端口的策略路由到缓存服务器，如果请求是GET，则走NGINX的PROXY_PASS,如果非GET，则走TCP_PROXY,不知如何实现。

--

--

Membhis

My github: https://github.com/membphis

Our Book: OpenResty Best Practices

--

yuansheng_2f16

大概了解了，目前 nginx stream proxy可定制还不是很强，需要等待各种 stream_by_lua 的 API 实现（欢迎 PR 补丁）。有了这些，你才能更容易的在 stream 上探测请求报文类型。

目前 nginx 只能是二选一的方式存在。

2015-12-20 20:48 GMT+08:00 泡泡鱼 <chenwe...@qq.com>:

场景这样的，PBR策略路由TCP_80之后希望对HTTP协议能进行缓存，对非HTTP协议能旁路走TCP透明代理的方式出去，否则这些非HTTP的TCP80请求会无法服务，这部分用户就会报障。
但是如果用NGINX STREAM方式，则NGINX的HTTP机制恐怕就用不上了。
我想能粘合NGINX的HTTP PROXY和TCP PROXY的功能，能用一个简单的办法实现上述场景。

------------------ 原始邮件 ------------------
发件人: "yuansheng";<yuan...@iresty.org>;
发送时间: 2015年12月20日(星期天) 晚上8:25
收件人: "openresty"<openresty@googlegroups.com>;
主题: Re: [openresty] 请问如何实现PBR模式下的TCPPROXY

如果你要做的是 TCPPROXY ，那么这个时候只能使用 NGINX STREAM 方式。这时候是4层协议处理，而 HTTP 协议是7层协议，两个不在一个层面。

要么全部走 STREAM PROXY，要么全部走 HTTP 方式。

On Sun, Dec 20, 2015 at 1:48 PM, 泡泡鱼 <chenwe...@qq.com> wrote:
在交换机上做80端口的策略路由到缓存服务器，如果请求是GET，则走NGINX的PROXY_PASS,如果非GET，则走TCP_PROXY,不知如何实现。

--

--

Membhis
My github: https://github.com/membphis
Our Book: OpenResty Best Practices

--

--

--

Membhis

My github: https://github.com/membphis

Our Book: OpenResty Best Practices