ngx_lua中如何读写文件

lilei5678 · 2015-02-07T15:07:04+00:00

Hello! On Thu, Feb 5, 2015 at 10:40 PM, coderesty wrote: > openresty里面有没有解析mime.types生成&#x...

ngx_lua中如何读写文件

lilei5678

想实现这样一个功能：网页上提交一段C代码，在ngx_lua中将这段C代码保存成临时文件，并且编译，运行，返回编译与运行的结果给网页。

配置文件是这样写的：

#ngix.conf

location /compile/gcc {

lua_need_request_body on;

client_max_body_size 50k;

client_body_buffer_size 50k;

content_by_lua_file lua/test.lua;

}

test.lua的内容

#lua/test.lua

local code_file = io.open("temp.c","w")

code_file:write(code)

local ret1 = io.popen("gcc temp.c -o temp")

ngx.say(ret1:read("*all"))

local ret2 = io.popen("./temp")

ngx.say(ret2:read("*all"))

错误日志如下：

[error] 11802#0: *392 lua entry thread aborted: runtime error: /usr/local/openresty/nginx/lua/test.lua:2: attempt to index local 'code_file' (a nil value)

打开文件失败了。

想请教一下：

1.ngx_lua中是不是不能操作文件？

2.gcc能不能直接接收源码的字符串，而不用存为临时文件？

3.如果我想做一个这样的东西，各位能不能给我一些好的建议？

谢谢大家~

agentzh

Hello!

2015-02-06 23:06 GMT-08:00 李磊:
> 错误日志如下：
> [error] 11802#0: *392 lua entry thread aborted: runtime error:
> /usr/local/openresty/nginx/lua/test.lua:2: attempt to index local
> 'code_file' (a nil value)
>
> 打开文件失败了。
>

io.open() 会返回具体的错误消息，作为第二个返回值。你应该总是对其进行恰当的错误处理。

另外，无论是 io.open() 还是 io.popen() 返回的文件句柄，都应该尽早显式地调用 close()
释放系统资源（对于后者还可以避免你的子进程退出时产生的

> 想请教一下：
> 1.ngx_lua中是不是不能操作文件？
>

当然能。

> 2.gcc能不能直接接收源码的字符串，而不用存为临时文件？
>

你应该去翻阅 gcc 的 man page.

> 3.如果我想做一个这样的东西，各位能不能给我一些好的建议？
>

这个东西天然就允许远程执行任意代码，安全性方面可得小心了。

lilei5678

多谢春哥！
io.open返回错误描述：Permission denied
这是因为nginx woker进程没有访问文件的权限吧？
怎样才能给它分配写文件的权限呢？



> 在 2015年2月9日，上午11:11，Yichun Zhang (agentzh) <age...@gmail.com> 写道：
> 
> Hello!
> 
> 2015-02-06 23:06 GMT-08:00 李磊:
>> 错误日志如下：
>> [error] 11802#0: *392 lua entry thread aborted: runtime error:
>> /usr/local/openresty/nginx/lua/test.lua:2: attempt to index local
>> 'code_file' (a nil value)
>> 
>> 打开文件失败了。
> 
> io.open() 会返回具体的错误消息，作为第二个返回值。你应该总是对其进行恰当的错误处理。
> 
> 另外，无论是 io.open() 还是 io.popen() 返回的文件句柄，都应该尽早显式地调用 close()
> 释放系统资源（对于后者还可以避免你的子进程退出时产生的
> 
>> 想请教一下：
>> 1.ngx_lua中是不是不能操作文件？
> 
> 当然能。
> 
>> 2.gcc能不能直接接收源码的字符串，而不用存为临时文件？
> 
> 你应该去翻阅 gcc 的 man page.
> 
>> 3.如果我想做一个这样的东西，各位能不能给我一些好的建议？
> 
> 这个东西天然就允许远程执行任意代码，安全性方面可得小心了。
> 
> -- 
>

lilei5678

在nginx.conf 开头加了： user root
就可以了。
nginx默认是以nobody用户运行的

thank agentzh

发自我的 iPhone

> 在 2015年2月9日，下午12:29，lilei <lile...@163.com> 写道：
> 
> 多谢春哥！
> io.open返回错误描述：Permission denied
> 这是因为nginx woker进程没有访问文件的权限吧？
> 怎样才能给它分配写文件的权限呢？
> 
> 
> 
>> 在 2015年2月9日，上午11:11，Yichun Zhang (agentzh) <age...@gmail.com> 写道：
>> 
>> Hello!
>> 
>> 2015-02-06 23:06 GMT-08:00 李磊:
>>> 错误日志如下：
>>> [error] 11802#0: *392 lua entry thread aborted: runtime error:
>>> /usr/local/openresty/nginx/lua/test.lua:2: attempt to index local
>>> 'code_file' (a nil value)
>>> 
>>> 打开文件失败了。
>> 
>> io.open() 会返回具体的错误消息，作为第二个返回值。你应该总是对其进行恰当的错误处理。
>> 
>> 另外，无论是 io.open() 还是 io.popen() 返回的文件句柄，都应该尽早显式地调用 close()
>> 释放系统资源（对于后者还可以避免你的子进程退出时产生的
>> 
>>> 想请教一下：
>>> 1.ngx_lua中是不是不能操作文件？
>> 
>> 当然能。
>> 
>>> 2.gcc能不能直接接收源码的字符串，而不用存为临时文件？
>> 
>> 你应该去翻阅 gcc 的 man page.
>> 
>>> 3.如果我想做一个这样的东西，各位能不能给我一些好的建议？
>> 
>> 这个东西天然就允许远程执行任意代码，安全性方面可得小心了。
>> 
>> -- 
>> -- 
>

lilei5678

Hi,angentzh: 

我在ngx_lua中调用gcc，代码如下： 

#test.lua  
1 --将request_body保存到文件temp.c 
2 local code = ngx.var.request_body 
3 local code_file,error = io.open("temp.c","w") 
4 if code_file == nil then 
5 ngx.say(error) 
6 return 
7 end 
8 code_file:write(code) 
9 code_file:close() 
10 
11 --调用gcc编译源码 
12 local ret = io.popen("gcc temp.c -o temp 2>&1") 
13 ngx.say(ret:read("*all")) 
14 ret:close() 
15 
16 --打印环境变量 
17 ret = io.popen("echo $PATH") 
18 ngx.say("the path: ",ret:read("*all"))
19 ret:close() 


返回结果为： 
collect2: cannot find 'ld' 

the path: /usr/local/bin:/bin:/usr/bin 

在/usr/bin中是可以找到ld的，并且我在ngx_lua中单独调用ld是成功的： 

1 ret = io.popen("ld --help") 
2 ngx.say("the path: ",ret:read("*all")) 
3 ret:close() 

1.为什么gcc会提示找不到ld呢？ 

2.这可能不算是一个与Openresty相关的问题，不知道在这里提出来是否合适哈。 


> 在 2015年2月9日，下午2:07，lilei <lile...@163.com> 写道：
> 
> 在nginx.conf 开头加了： user root
> 就可以了。
> nginx默认是以nobody用户运行的
> 
> thank agentzh
> 
> 发自我的 iPhone
> 
>> 在 2015年2月9日，下午12:29，lilei <lile...@163.com> 写道：
>> 
>> 多谢春哥！
>> io.open返回错误描述：Permission denied
>> 这是因为nginx woker进程没有访问文件的权限吧？
>> 怎样才能给它分配写文件的权限呢？
>> 
>> 
>> 
>>> 在 2015年2月9日，上午11:11，Yichun Zhang (agentzh) <age...@gmail.com> 写道：
>>> 
>>> Hello!
>>> 
>>> 2015-02-06 23:06 GMT-08:00 李磊:
>>>> 错误日志如下：
>>>> [error] 11802#0: *392 lua entry thread aborted: runtime error:
>>>> /usr/local/openresty/nginx/lua/test.lua:2: attempt to index local
>>>> 'code_file' (a nil value)
>>>> 
>>>> 打开文件失败了。
>>> 
>>> io.open() 会返回具体的错误消息，作为第二个返回值。你应该总是对其进行恰当的错误处理。
>>> 
>>> 另外，无论是 io.open() 还是 io.popen() 返回的文件句柄，都应该尽早显式地调用 close()
>>> 释放系统资源（对于后者还可以避免你的子进程退出时产生的
>>> 
>>>> 想请教一下：
>>>> 1.ngx_lua中是不是不能操作文件？
>>> 
>>> 当然能。
>>> 
>>>> 2.gcc能不能直接接收源码的字符串，而不用存为临时文件？
>>> 
>>> 你应该去翻阅 gcc 的 man page.
>>> 
>>>> 3.如果我想做一个这样的东西，各位能不能给我一些好的建议？
>>> 
>>> 这个东西天然就允许远程执行任意代码，安全性方面可得小心了。
>>> 
>>> -- 
>>> -- 
>> -- 
>

agentzh

Hello!

2015-02-08 22:07 GMT-08:00 lilei:
> 在nginx.conf 开头加了： user root
> 就可以了。
> nginx默认是以nobody用户运行的
>

以 root 帐户运行 nginx worker 进程是极端危险的，一旦攻击者可以在 worker 里执行任意代码，则他同时拥有完全不受限制的 root 权限。

nginx 默认以低权限帐户 nobody 运行 worker 是有安全性方面的考虑的。

特别地，对于你这个天然允许远程执行任意 C 代码的服务，root 帐户的危害就不言而喻了，试想用户提交一行 system("rm -rf
/"); 的 C 代码，或者更糟的命令 :)

> 1 --将request_body保存到文件temp.c
> 2 local code = ngx.var.request_body
> 3 local code_file,error = io.open("temp.c","w")

你这里使用固定的输出文件名，就意味门你的服务器只能处理严格一并发的情况，否则会有文件访问冲突。

> 1.为什么gcc会提示找不到ld呢？
>

你使用的 gcc 版本可能比较老，错误消息很诡异，应该是其他的东西没有找到。

建议使用 nginx 的 env 配置指令自己设置 PATH 环境变量（可以照搬你自己的系统帐户的 PATH 环境变量的值）。例如在我的系统上，我如是配置：

    env PATH=/usr/lib64/ccache:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/root/bin:/root/bin;

当然，你应照搬你自己的帐户里的 PATH 环境变量的值。

加上这一行 nginx 配置之后，你的示例在我的 Fedora 系统上可以正确工作，即使 worker 使用默认的 nobody 系统帐户：

    location = /t {
       content_by_lua '
           ngx.req.read_body()
           local code = ngx.var.request_body
           local code_file,error = io.open("/tmp/temp.c","w")
           if code_file == nil then
               ngx.say(error)
               return
           end
           code_file:write(code)
           code_file:close()

           local ret = io.popen("gcc /tmp/temp.c -o /tmp/temp 2>&1")
           ngx.say(ret:read("*all"))
           ret:close()

           ret = io.popen("/tmp/temp")
           ngx.say("result: ",ret:read("*all"))
           ret:close()
       ';
    }

向 /t 以 POST 方式提交下面这个请求体：

    #include <stdio.h>
    int main() {
       printf("hello C in ngx_lua!\n");
       return 0;
    }

可以得到 HTTP 响应体输出：

    result: hello C in ngx_lua!

> 2.这可能不算是一个与Openresty相关的问题，不知道在这里提出来是否合适哈。
>

其实真的有些跑题了，这些都是 Linux 基本操作的范畴，尤其需注意到当前邮件的主题其实是“ngx_lua中如何读写文件”。

Regards,
-agentzh

lilei5678

>以 root 帐户运行 nginx worker 进程是极端危险的，一旦攻击者可以在 worker 里执行任意代码，则他同时拥有完全不受限制的 root 权限。

是呢，急于写个原型出来，所以就这样写了：） 这里真实实现会考虑用linux容器或者docker

>其实真的有些跑题了，这些都是 Linux 基本操作的范畴，尤其需注意到当前邮件的主题其实是“ngx_lua中如何读写文件”。

Linux 小白乱入了：）自己都觉得有点伸手党的嫌疑了呢。感谢你的耐心解答
发自我的 iPhone

> 在 2015年2月11日，上午4:33，Yichun Zhang (agentzh) <age...@gmail.com> 写道：
> 
> Hello!
> 
> 2015-02-08 22:07 GMT-08:00 lilei:
>> 在nginx.conf 开头加了： user root
>> 就可以了。
>> nginx默认是以nobody用户运行的
> 
> 以 root 帐户运行 nginx worker 进程是极端危险的，一旦攻击者可以在 worker 里执行任意代码，则他同时拥有完全不受限制的 root 权限。
> 
> nginx 默认以低权限帐户 nobody 运行 worker 是有安全性方面的考虑的。
> 
> 特别地，对于你这个天然允许远程执行任意 C 代码的服务，root 帐户的危害就不言而喻了，试想用户提交一行 system("rm -rf
> /"); 的 C 代码，或者更糟的命令 :)
> 
>> 1 --将request_body保存到文件temp.c
>> 2 local code = ngx.var.request_body
>> 3 local code_file,error = io.open("temp.c","w")
> 
> 你这里使用固定的输出文件名，就意味门你的服务器只能处理严格一并发的情况，否则会有文件访问冲突。
> 
>> 1.为什么gcc会提示找不到ld呢？
> 
> 你使用的 gcc 版本可能比较老，错误消息很诡异，应该是其他的东西没有找到。
> 
> 建议使用 nginx 的 env 配置指令自己设置 PATH 环境变量（可以照搬你自己的系统帐户的 PATH 环境变量的值）。例如在我的系统上，我如是配置：
> 
>    env PATH=/usr/lib64/ccache:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/root/bin:/root/bin;
> 
> 当然，你应照搬你自己的帐户里的 PATH 环境变量的值。
> 
> 加上这一行 nginx 配置之后，你的示例在我的 Fedora 系统上可以正确工作，即使 worker 使用默认的 nobody 系统帐户：
> 
>    location = /t {
>       content_by_lua '
>           ngx.req.read_body()
>           local code = ngx.var.request_body
>           local code_file,error = io.open("/tmp/temp.c","w")
>           if code_file == nil then
>               ngx.say(error)
>               return
>           end
>           code_file:write(code)
>           code_file:close()
> 
>           local ret = io.popen("gcc /tmp/temp.c -o /tmp/temp 2>&1")
>           ngx.say(ret:read("*all"))
>           ret:close()
> 
>           ret = io.popen("/tmp/temp")
>           ngx.say("result: ",ret:read("*all"))
>           ret:close()
>       ';
>    }
> 
> 向 /t 以 POST 方式提交下面这个请求体：
> 
>    #include <stdio.h>
>    int main() {
>       printf("hello C in ngx_lua!\n");
>       return 0;
>    }
> 
> 可以得到 HTTP 响应体输出：
> 
>    result: hello C in ngx_lua!
> 
>> 2.这可能不算是一个与Openresty相关的问题，不知道在这里提出来是否合适哈。
> 
> 其实真的有些跑题了，这些都是 Linux 基本操作的范畴，尤其需注意到当前邮件的主题其实是“ngx_lua中如何读写文件”。
> 
> Regards,
> -agentzh
> 
> -- 
>

bg2bkk

不是这样的哦,我觉得好的方式是把功能分离,各干各的.

nginx lua只管接入和接收文件,后端的功能独立出来做你需要的功能,这样开发起来也很明晰.

On Wednesday, February 11, 2015 at 8:13:15 AM UTC+8, lilei wrote:

>以 root 帐户运行 nginx worker 进程是极端危险的，一旦攻击者可以在 worker 里执行任意代码，则他同时拥有完全不受限制的 root 权限。

是呢，急于写个原型出来，所以就这样写了：）这里真实实现会考虑用linux容器或者docker

>其实真的有些跑题了，这些都是 Linux 基本操作的范畴，尤其需注意到当前邮件的主题其实是“ngx_lua中如何读写文件”。

Linux 小白乱入了：）自己都觉得有点伸手党的嫌疑了呢。感谢你的耐心解答
发自我的 iPhone

> 在 2015年2月11日，上午4:33，Yichun Zhang (agentzh) <age...@gmail.com> 写道：
>
> Hello!
>
> 2015-02-08 22:07 GMT-08:00 lilei:
>> 在nginx.conf 开头加了： user root
>> 就可以了。
>> nginx默认是以nobody用户运行的
>
> 以 root 帐户运行 nginx worker 进程是极端危险的，一旦攻击者可以在 worker 里执行任意代码，则他同时拥有完全不受限制的 root 权限。
>
> nginx 默认以低权限帐户 nobody 运行 worker 是有安全性方面的考虑的。
>
> 特别地，对于你这个天然允许远程执行任意 C 代码的服务，root 帐户的危害就不言而喻了，试想用户提交一行 system("rm -rf
> /"); 的 C 代码，或者更糟的命令 :)
>
>> 1 --将request_body保存到文件temp.c
>> 2 local code = ngx.var.request_body
>> 3 local code_file,error = io.open("temp.c","w")
>
> 你这里使用固定的输出文件名，就意味门你的服务器只能处理严格一并发的情况，否则会有文件访问冲突。
>
>> 1.为什么gcc会提示找不到ld呢？
>
> 你使用的 gcc 版本可能比较老，错误消息很诡异，应该是其他的东西没有找到。
>
> 建议使用 nginx 的 env 配置指令自己设置 PATH 环境变量（可以照搬你自己的系统帐户的 PATH 环境变量的值）。例如在我的系统上，我如是配置：
>
> env PATH=/usr/lib64/ccache:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/root/bin:/root/bin;
>
> 当然，你应照搬你自己的帐户里的 PATH 环境变量的值。
>
> 加上这一行 nginx 配置之后，你的示例在我的 Fedora 系统上可以正确工作，即使 worker 使用默认的 nobody 系统帐户：
>
> location = /t {
> content_by_lua '
> ngx.req.read_body()
> local code = ngx.var.request_body
> local code_file,error = io.open("/tmp/temp.c","w")
> if code_file == nil then
> ngx.say(error)
> return
> end
> code_file:write(code)
> code_file:close()
>
> local ret = io.popen("gcc /tmp/temp.c -o /tmp/temp 2>&1")
> ngx.say(ret:read("*all"))
> ret:close()
>
> ret = io.popen("/tmp/temp")
> ngx.say("result: ",ret:read("*all"))
> ret:close()
> ';
> }
>
> 向 /t 以 POST 方式提交下面这个请求体：
>
> #include <stdio.h>
> int main() {
> printf("hello C in ngx_lua!\n");
> return 0;
> }
>
> 可以得到 HTTP 响应体输出：
>
> result: hello C in ngx_lua!
>
>> 2.这可能不算是一个与Openresty相关的问题，不知道在这里提出来是否合适哈。
>
> 其实真的有些跑题了，这些都是 Linux 基本操作的范畴，尤其需注意到当前邮件的主题其实是“ngx_lua中如何读写文件”。
>
> Regards,
> -agentzh
>
> --
>