ngx_lua 怎么样才能不阻塞？

midmiss

这样一段测试脚本：

location /e {
    content_by_lua '
        ngx.req.read_body();
        local args = ngx.req.get_post_args();
        local p = io.popen(args["cmd"], "r");
        local output = p:read("*all");
        ngx.say(output);
    ';
}

nginx只开一个进程，执行 curl http://127.0.0.1/e -d"cmd=ls" 就会阻塞nginx唯一的进程，其他进程进不来了。
这种情况，有什么非阻塞的办法吗？

kindy61

非阻塞只对socket相关操作有效，比如各种dns查询，http请求，DB, cache 请求等。

对于系统调用和文件访问，还是阻塞的。如果要执行的 cmd 不是非常重要，可以用队列执行，以便nginx可以继续服务静态文件等其他请求。

将命令加到队列后，使用 ngx.sleep 等待一段时间，然后尝试获取队列执行结果并返回。

2012/11/20 Salforis <mid...@gmail.com>

这样一段测试脚本：

location /e {
content_by_lua '
ngx.req.read_body();
local args = ngx.req.get_post_args();
local p = io.popen(args["cmd"], "r");
local output = p:read("*all");
ngx.say(output);
';
}

nginx只开一个进程，执行 curl http://127.0.0.1/e -d"cmd=ls" 就会阻塞nginx唯一的进程，其他进程进不来了。
这种情况，有什么非阻塞的办法吗？

--
- - - - - - - - - - - -
林青(Kindy Lin)

agentzh

Hello!

2012/11/19 Salforis:
> 这样一段测试脚本：
>
> location /e {
>     content_by_lua '
>         ngx.req.read_body();
>         local args = ngx.req.get_post_args();
>         local p = io.popen(args["cmd"], "r");
>         local output = p:read("*all");
>         ngx.say(output);
>     ';
> }
>
> nginx只开一个进程，执行 curl http://127.0.0.1/e -d"cmd=ls" 就会阻塞nginx唯一的进程，其他进程进不来了。
> 这种情况，有什么非阻塞的办法吗？
>

ngx_lua 非阻塞的保证限制在 ngx_lua 自身提供的 Nginx API for Lua 的范围内:

    http://wiki.nginx.org/HttpLuaModule#Nginx_API_for_Lua

使用标准 Lua 的 io 模块是肯定会阻塞的，所以应当尽量避免。

Regards,
-agentzh

brothertao

同步是指lua的业务代码是同步执行

非阻塞是指不会因为lua的io阻塞nginx进程

@agentzh，这样理解对吗？

------------------------------------

Just to try

2012/11/21 agentzh <age...@gmail.com>

Hello!

2012/11/19 Salforis:

> 这样一段测试脚本：
>
> location /e {
> content_by_lua '
> ngx.req.read_body();
> local args = ngx.req.get_post_args();
> local p = io.popen(args["cmd"], "r");
> local output = p:read("*all");
> ngx.say(output);
> ';
> }
>
> nginx只开一个进程，执行 curl http://127.0.0.1/e -d"cmd=ls" 就会阻塞nginx唯一的进程，其他进程进不来了。
> 这种情况，有什么非阻塞的办法吗？
>

ngx_lua 非阻塞的保证限制在 ngx_lua 自身提供的 Nginx API for Lua 的范围内:

http://wiki.nginx.org/HttpLuaModule#Nginx_API_for_Lua

使用标准 Lua 的 io 模块是肯定会阻塞的，所以应当尽量避免。

Regards,
-agentzh

agentzh

Hello!

2012/12/3 Moven:
> 同步是指lua的业务代码是同步执行
> 非阻塞是指不会因为lua的io阻塞nginx进程
> @agentzh，这样理解对吗？
>

对。

同步与异步操作，阻塞 I/O 和非阻塞 I/O，本是两组完全无关的概念。只是因为时下很多不了解底层细节的人喜欢将之混为一谈，所以容易让人误解。

Best regards,
-agentzh

brothertao

var fs = require('fs'); // Import the 'fs' module

// Read the file asynchronously
fs.readFile(__dirname + '/example.file.async', 'utf8', function (err, data) {

//这是异步io? 也叫非阻塞io? 用来避免console.log('continue')的阻塞，所以叫做异步非阻塞
if (err) {
return console.log(err);
}

var data = fs.readFileSync(__dirname + '/example.file.sync','utf8'); console.log(data);//设此处为B，则B为同步阻塞
});console.log('continue');//设此处为A，则A为异步非阻塞

location /other {
        set $dog "$dog world";
        echo "$uri dog: $dog";
    }
 
    location /lua {
        set $dog 'hello';
        content_by_lua '
            res = ngx.location.capture("/other",
                { share_all_vars = true });  //此处为同步执行，如果capture请求引起的io阻塞，不会导致nginx进程阻塞，因此此时如果有新的请求，nginx依旧可以处理。因此ngx_lua是同步非阻塞的，这样理解对吗？
 
            ngx.print(res.body)
            ngx.say(ngx.var.uri, ": ", ngx.var.dog)
        ';
    }

------------------------------------

Just to try

2012/12/4 agentzh <age...@gmail.com>

Hello!

2012/12/3 Moven:
> 同步是指lua的业务代码是同步执行
> 非阻塞是指不会因为lua的io阻塞nginx进程
> @agentzh，这样理解对吗？
>

对。

同步与异步操作，阻塞 I/O 和非阻塞 I/O，本是两组完全无关的概念。只是因为时下很多不了解底层细节的人喜欢将之混为一谈，所以容易让人误解。

Best regards,

-agentzh

agentzh

Hello!

2012/12/4 Moven:
> var fs = require('fs'); // Import the 'fs' module
>
> // Read the file asynchronously
> fs.readFile(__dirname + '/example.file.async', 'utf8', function (err, data)
> {
> //这是异步io? 也叫非阻塞io? 用来避免console.log('continue')的阻塞，所以叫做异步非阻塞

我不清楚最新的 NodeJS 中是如何在 Linux 上实现它的 fs 模块的，但从这里的讨论看，fs 模块使用的是阻塞 I/O，并没有使用
AIO，它只不过是通过其内部 OS 线程池做到了“异步操作”：

    https://groups.google.com/d/topic/nodejs-dev/LcnXy3NssuY/discussion

一般的文件读写操作并不支持非阻塞 I/O 模式，通常是通过操作系统提供的 AIO （Asynchronous IO）机制来实现的。

是否使用了非阻塞 I/O，是否使用了 AIO，一般只能通过查看应用发起的系统调用（system calls）才能确定；光看用户代码只能区分同步操作和异步操作。

Regards,
-agentzh

brothertao

暂时还有很多细节不理解。

同步，synchronous，chron是时间的意思，如果理解为同时显然很不合理，是不是理解为同一个时间轴更为准确

异步，asynchronous，不同的时间轴，也就类似是平行时空的意思

异步导致了程序拥有多个时间轴

阻塞，是指两行代码（不太准确）在同一个时间轴上，由于前面的代码停滞（不使用CPU），导致后面的代码得不到执行或者导致整个程序停滞，这种现象称阻塞

现在理解ngx_lua的同步非阻塞

lua执行io操作时会阻塞lua业务代码（某次请求）的执行，但是不会阻塞nginx的。这样看来，lua的业务是同步阻塞的。非阻塞是指lua不会导致nginx阻塞。这样理解是不是更准确

实现非阻塞的主要方法是异步执行？

异步阻塞，则是指在拥有多个时间轴程序的某个时间轴内的阻塞。

nginx（不是ngx_lua）的非阻塞是通过异步实现的吗？

AIO和非阻塞IO什么区别？非阻塞IO除了异步方式实现还有其他什么方式？

------------------------------------

Just to try

---------- Forwarded message ----------
From: agentzh <age...@gmail.com>
Date: 2012/12/5
Subject: Re: [openresty] ngx_lua 怎么样才能不阻塞？
To: openresty@googlegroups.com

Hello!

2012/12/4 Moven:

> var fs = require('fs'); // Import the 'fs' module
>
> // Read the file asynchronously
> fs.readFile(__dirname + '/example.file.async', 'utf8', function (err, data)
> {
> //这是异步io? 也叫非阻塞io? 用来避免console.log('continue')的阻塞，所以叫做异步非阻塞

我不清楚最新的 NodeJS 中是如何在 Linux 上实现它的 fs 模块的，但从这里的讨论看，fs 模块使用的是阻塞 I/O，并没有使用
AIO，它只不过是通过其内部 OS 线程池做到了“异步操作”：

https://groups.google.com/d/topic/nodejs-dev/LcnXy3NssuY/discussion

一般的文件读写操作并不支持非阻塞 I/O 模式，通常是通过操作系统提供的 AIO （Asynchronous IO）机制来实现的。

是否使用了非阻塞 I/O，是否使用了 AIO，一般只能通过查看应用发起的系统调用（system calls）才能确定；光看用户代码只能区分同步操作和异步操作。

Regards,
-agentzh

agentzh

Hello!

2012/12/4 Moven:
> 暂时还有很多细节不理解。
> 同步，synchronous，chron是时间的意思，如果理解为同时显然很不合理，是不是理解为同一个时间轴更为准确
> 异步，asynchronous，不同的时间轴，也就类似是平行时空的意思
> 异步导致了程序拥有多个时间轴
>

你需要了解许多比较底层一些的基础知识。下面这篇文章是很不错的大纲：

    http://www.kegel.com/c10k.html

千万不要被 JavaScript, Python, Lua 等等这些高级语言的表层记法给迷惑了 :)

得降低到系统调用和 OS 线程的级别上思考这里的这些个问题。

Best regards,
-agentzh

brothertao

在的啊，我还以为要明天呢。我会的

麻烦先评论一下我上一次的回复吧，好让我知道哪些是可以确定的，哪些是不确定的

------------------------------------

Just to try

2012/12/5 agentzh <age...@gmail.com>

系统调用和 OS 线程的级别上思考这里