nginx+lua 大并发时url参数会在不同的请求里面串掉吗？

chenliq · 2015-06-26T10:45:37+00:00

http://openresty.org/ 我这里被墙了好像。加 vpn 可以打开。On Wed, Ju...

nginx+lua 大并发时url参数会在不同的请求里面串掉吗？

chenliq

现象，我的代码大概这样：

index.lua:

local uri_args = ngx.req.get_uri_args()

local mo = require('mo')

mo.args = uri_args

mo.lua

local showJs = function(callback, data)
local cjson = require('cjson')
ngx.say(callback .. '(' .. cjson.encode(data) .. ')')
end
local self.jsonp = self.args.jsonp
local keyList = string.split(self.args.key_list, ',')
for i=1, #keyList do
-- do something

ngx.say(self.args.kind)

(这里不会修改到self.jsonp等从URL参数过来的相关参数)

end
showJs(self.jsonp, valList)

大概代码逻辑如上，然后出现这种情况：

生产服务器中，如果没有用户访问，自己几个人测试，一切正常。

同样生产服务器，我将大量的用户请求接入后，我不停刷新页面的时候会出现部分情况（概率也不低，几分之一，大于10%），输出的callback（也就是来源于self.jsonp，即URL参数中的jsonp变量）和url地址中不一致（我自己测试的值是?jsonp=jsonp1435220570933，而用户的请求基本上都是?jsonp=jquery....)错误的情况都是会出现用户请求才会有的jquery....这种字符串。另外URL参数中的kind是1，我在循环中输出会有“1”或“nil”的情况。不仅这两种参数，几乎所有url中传递的参数，都有可能变成其他请求链接中的参数。

基于以上情况，个人判断会不会是在生产服务器大量用户请求中，不同请求参数串掉了，但是如果这样，是否应该会出现我本次的获取参数是某个其他用户的值，那么for循环中的值也应该固定的，而不会是一会儿是我自己请求中的参数值，一会儿是其他用户请求中的参数值。

doujiang24

应该是你用错了，以下基于猜测 index.lua 是你的入口，lua_code_cache on

在 2015年6月26日上午10:45，陈立强 <che...@gmail.com>写道：

现象，我的代码大概这样：
index.lua:

local uri_args = ngx.req.get_uri_args()
local mo = require('mo')

mo 是全局的，一个 vm 内（即一个 worker）引用同一份

mo.args = uri_args

此处相当于把单个请求的 uri_args 写到了 vm 全局

mo.lua

local showJs = function(callback, data)
local cjson = require('cjson')
ngx.say(callback .. '(' .. cjson.encode(data) .. ')')
end
local self.jsonp = self.args.jsonp
local keyList = string.split(self.args.key_list, ',')
for i=1, #keyList do
-- do something
ngx.say(self.args.kind)
(这里不会修改到self.jsonp等从URL参数过来的相关参数)
end
showJs(self.jsonp, valList)

这里代码，没看懂什么逻辑，showJs 在这里调用感觉很奇怪

大概代码逻辑如上，然后出现这种情况：
生产服务器中，如果没有用户访问，自己几个人测试，一切正常。
同样生产服务器，我将大量的用户请求接入后，我不停刷新页面的时候会出现部分情况（概率也不低，几分之一，大于10%），输出的callback（也就是来源于self.jsonp，即URL参数中的jsonp变量）和url地址中不一致（我自己测试的值是?jsonp=jsonp1435220570933，而用户的请求基本上都是?jsonp=jquery....)错误的情况都是会出现用户请求才会有的jquery....这种字符串。另外URL参数中的kind是1，我在循环中输出会有“1”或“nil”的情况。不仅这两种参数，几乎所有url中传递的参数，都有可能变成其他请求链接中的参数。

基于以上情况，个人判断会不会是在生产服务器大量用户请求中，不同请求参数串掉了，但是如果这样，是否应该会出现我本次的获取参数是某个其他用户的值，那么for循环中的值也应该固定的，而不会是一会儿是我自己请求中的参数值，一会儿是其他用户请求中的参数值。

--

chenliq

你好，那个showJs问题先不管，问题应该不是在这里，只是为了方便公共调用。index.lua确实是入口文件。

mo 是全局的，一个 vm 内（即一个 worker）引用同一份

想请问下是不是这种情况影响到，一个worker是不是会同时处理多个不同的请求？

在 2015年6月26日星期五 UTC+8上午11:20:39，doujiang写道：

应该是你用错了，以下基于猜测 index.lua 是你的入口，lua_code_cache on

在 2015年6月26日上午10:45，陈立强 <che...@gmail.com>写道：
现象，我的代码大概这样：
index.lua:

local uri_args = ngx.req.get_uri_args()
local mo = require('mo')

mo 是全局的，一个 vm 内（即一个 worker）引用同一份

mo.args = uri_args

此处相当于把单个请求的 uri_args 写到了 vm 全局

mo.lua

local showJs = function(callback, data)
local cjson = require('cjson')
ngx.say(callback .. '(' .. cjson.encode(data) .. ')')
end
local self.jsonp = self.args.jsonp
local keyList = string.split(self.args.key_list, ',')
for i=1, #keyList do
-- do something
ngx.say(self.args.kind)
(这里不会修改到self.jsonp等从URL参数过来的相关参数)
end
showJs(self.jsonp, valList)

这里代码，没看懂什么逻辑，showJs 在这里调用感觉很奇怪

大概代码逻辑如上，然后出现这种情况：
生产服务器中，如果没有用户访问，自己几个人测试，一切正常。
同样生产服务器，我将大量的用户请求接入后，我不停刷新页面的时候会出现部分情况（概率也不低，几分之一，大于10%），输出的callback（也就是来源于self.jsonp，即URL参数中的jsonp变量）和url地址中不一致（我自己测试的值是?jsonp=jsonp1435220570933，而用户的请求基本上都是?jsonp=jquery....)错误的情况都是会出现用户请求才会有的jquery....这种字符串。另外URL参数中的kind是1，我在循环中输出会有“1”或“nil”的情况。不仅这两种参数，几乎所有url中传递的参数，都有可能变成其他请求链接中的参数。

基于以上情况，个人判断会不会是在生产服务器大量用户请求中，不同请求参数串掉了，但是如果这样，是否应该会出现我本次的获取参数是某个其他用户的值，那么for循环中的值也应该固定的，而不会是一会儿是我自己请求中的参数值，一会儿是其他用户请求中的参数值。

--

agentzh

Hello!

2015-06-26 11:36 GMT+08:00 陈立强:
>> mo 是全局的，一个 vm 内（即一个 worker）引用同一份
>
> 想请问下是不是这种情况影响到，一个worker是不是会同时处理多个不同的请求？
>

Lua module 是 VM 级别共享的，见这里：

    https://github.com/openresty/lua-nginx-module#data-sharing-within-an-nginx-worker

每请求的数据在传递和存储时须特别小心，只应通过你自己的函数参数来传递，或者通过 ngx.ctx 表。前者是推荐的玩法，因为效率高得多。

Regards,
-agentzh

chenliq

谢谢春哥的答复，因为LUA这种模块的机制不太了解，对nginx本身机制也不太了解，我现在这种情况要怎么保证“每请求的数据在传递和存储”的时候不冲突，能基于我前面列出的代码中帮忙给个示例吗？是不是不能在入口文件如下代码这样调用？怎么保证不同的请求实例化模块的时候是唯一的？

local uri_args = ngx.req.get_uri_args()

local mo = require('mo')

在 2015年6月26日星期五 UTC+8上午11:40:49，agentzh写道：

Hello!

2015-06-26 11:36 GMT+08:00 陈立强:
>> mo 是全局的，一个 vm 内（即一个 worker）引用同一份
>
> 想请问下是不是这种情况影响到，一个worker是不是会同时处理多个不同的请求？
>

Lua module 是 VM 级别共享的，见这里：

https://github.com/openresty/lua-nginx-module#data-sharing-within-an-nginx-worker

每请求的数据在传递和存储时须特别小心，只应通过你自己的函数参数来传递，或者通过 ngx.ctx 表。前者是推荐的玩法，因为效率高得多。

Regards,
-agentzh

agentzh

Hello!

2015-06-26 11:49 GMT+08:00 陈立强:
> 谢谢春哥的答复，因为LUA这种模块的机制不太了解，对nginx本身机制也不太了解，我现在这种情况要怎么保证“每请求的数据在传递和存储”的时候不冲突，能基于我前面列出的代码中帮忙给个示例吗？是不是不能在入口文件如下代码这样调用？
> 怎么保证不同的请求实例化模块的时候是唯一的？

我不太清楚你究竟想实现什么样的效果。如果你是在做面向对象编程，那么只要你每个请求都 new 出来一个自己的对象就可以了。细节可以参考现有的
lua-resty-redis, lua-resty-memcached, 或者 lua-resty-mysql 库的实现。

其他情况，我上一封邮件已经指出了，这里再引用一下：“每请求的数据在传递和存储时须特别小心，只应通过你自己的函数参数来传递，或者通过
ngx.ctx 表。前者是推荐的玩法，因为效率高得多。”

Regards,
-agentzh

chenliq

谢谢春哥的答复，原来是我了解的还不够深刻，所以代码出现问题，现在对nginx的lua模块了解更深入一点，开始知道原因并解决问题了。

另外，我看到这样一个网址介绍ngx_lua模块的原理，忽然又有疑问了（网址：http://www.cnblogs.com/wangxusummer/p/4309007.html）

他是这样介绍的：

ngx_lua模块的原理：

1、每个worker（工作进程）创建一个Lua VM，worker内所有协程共享VM；
2、将Nginx I/O原语封装后注入 Lua VM，允许Lua代码直接访问；
3、每个外部请求都由一个Lua协程处理，协程之间数据隔离；
4、Lua代码调用I/O操作等异步接口时，会挂起当前协程（并保护上下文数据），而不阻塞worker；
5、I/O等异步操作完成时还原相关协程上下文数据，并继续运行；

这里第三点说协程之间数据隔离，那每协和是对应一个外部请求，这种情况下是不是每请求的数据隔离就不会出现我说的那种情况（我的情况是require一个模块后，这个模块的数据在不同请求之间是共享的）。请问他这里提到的数据是不是指其他的什么数据？

另外我发现我的lua脚本中无论在哪个位置（即使函数内部的小区块中声明，只要没有local，也是在不同的请求中共享的，请问这种“全局”变量是不是也是在整个worker级别“全局共享”还是整个nginx进程级别共享

在 2015年6月26日星期五 UTC+8下午12:23:19，agentzh写道：

Hello!

2015-06-26 11:49 GMT+08:00 陈立强:
> 谢谢春哥的答复，因为LUA这种模块的机制不太了解，对nginx本身机制也不太了解，我现在这种情况要怎么保证“每请求的数据在传递和存储”的时候不冲突，能基于我前面列出的代码中帮忙给个示例吗？是不是不能在入口文件如下代码这样调用？
> 怎么保证不同的请求实例化模块的时候是唯一的？

我不太清楚你究竟想实现什么样的效果。如果你是在做面向对象编程，那么只要你每个请求都 new 出来一个自己的对象就可以了。细节可以参考现有的
lua-resty-redis, lua-resty-memcached, 或者 lua-resty-mysql 库的实现。

其他情况，我上一封邮件已经指出了，这里再引用一下：“每请求的数据在传递和存储时须特别小心，只应通过你自己的函数参数来传递，或者通过
ngx.ctx 表。前者是推荐的玩法，因为效率高得多。”

Regards,
-agentzh

agentzh

Hello!

2015-06-27 11:08 GMT+08:00 陈立强 <che...@gmail.com>:
> 这里第三点说协程之间数据隔离，那每协和是对应一个外部请求，这种情况下是不是每请求的数据隔离就不会出现我说的那种情况（我的情况是require一个模块后，这个模块的数据在不同请求之间是共享的）。请问他这里提到的数据是不是指其他的什么数据？
>

见官方文档中的描述：

https://github.com/openresty/lua-nginx-module#lua-variable-scope

> 另外我发现我的lua脚本中无论在哪个位置（即使函数内部的小区块中声明，只要没有local，也是在不同的请求中共享的，请问这种“全局”变量是不是也是在整个worker级别“全局共享”还是整个nginx进程级别共享
>

请提供一个最小化的完整的示例，否则这样“空对空”，我没办法和你讨论细节。还望理解 :)

Regards,
-agentzh

bg2bkk

hello，我个人的一点看法哈。

首先，对于module来说，module就是一个table。那么 local bar = require(“foo”)时，bar是一个table，而且由于lua_code_cache on的缘故，不管在哪里写这条语句， local bar = require(“foo”)也好， local mmm = require(“foo”)也好，bar和mmm指的都是一个table，这样的话这个foo是否具有了一定的“全局”的意思？而且这个全局是数据上的共享。

然后，如果foo module有new方法， local bar = require(“foo”)， local t = bar.new()，local p = bar.new()，这里的t和p指的是不同的table，这里就没有共享在里面了。

然后，lua虚拟机的各个协程的隔离指的是lua的协程机制，lua协程是互相隔离的，而正好每个请求是通过协程处理的，所以对于外部请求来说，是互相隔离的。但是在处理每个请求时，指向了同一个table，就像第一条里说的那种情况一样，这个时候的数据共享和lua协程的隔离机制是不冲突的，两个不是一回事。

只是我个人的一点看法哈，同为新手，求拍砖。

agentzh

Hello!

2015-06-29 10:33 GMT+08:00 Zhendong Huang:
> 首先，对于module来说，module就是一个table。那么 local bar =
> require(“foo”)时，bar是一个table，而且由于lua_code_cache on的缘故，不管在哪里写这条语句，  local bar
> = require(“foo”)也好， local mmm =
> require(“foo”)也好，bar和mmm指的都是一个table，这样的话这个foo是否具有了一定的“全局”的意思？而且这个全局是数据上的共享。

基本上可以这么理解。有几点需要澄清一下：

1. Lua module 不一定是 table，也可以是 function，只是 table 比较常见罢了。function 的一个例子是
LuaJIT 2.1 的 require("table.new").

2. Lua module 的全局共享特性是由于 require() 函数。这个函数在第一次加载模块 foo 的时候会把 foo
模块（无论是 table 还是其他）缓存在 package.loaded 这个全局表中（当然，这个表其实也不是全局变量，而是注册在 Lua
registry 里，而 Lua registry 是 VM 级别唯一的，共享的）。

3. 你在 Lua module 文件里的顶层作用域里声明的 local 变量一般会通过 upvalue 的形式挂载到 Lua module
里使用到这些变量的 function 里，而这些 function 一般会注册到 Lua module 的 table 里面，或者进一步以
upvalue 的形式挂载到这样的其他 function 中。

> 然后，如果foo module有new方法， local bar = require(“foo”)， local t = bar.new()，local
> p = bar.new()，这里的t和p指的是不同的table，这里就没有共享在里面了。

是的。不过其实它们可以共享一个 metatable，而这个 metatable 一般（可以）就是 module table 本身。

> 然后，lua虚拟机的各个协程的隔离指的是lua的协程机制，lua协程是互相隔离的，而正好每个请求是通过协程处理的，所以对于外部请求来说，是互相隔离的。但是在处理每个请求时，指向了同一个table，就像第一条里说的那种情况一样，这个时候的数据共享和lua协程的隔离机制是不冲突的，两个不是一回事。

ngx_lua 自己只实现了基于全局变量环境表的隔离。即每个请求都有自己的一套全局变量。仅此而已。当然，我有计划添加一个
lua_separate_globals on|off 配置指令，允许用户自己禁用全局环境表的隔离，只要用户确保自己没有滥用 Lua
全局变量就没有问题。禁用全局表隔离后可以每请求节约至少一个 Lua table 的创建。这对于类似 hello world
那样的简单接口还是有些意义的，性能上会有可测量的区别，虽然还是很小。

Regards,
-agentzh

bg2bkk

感谢春哥回复，非常深入和严谨，学习到很多。

关于ngx-lua，我看到的和学到的非常表面，仅仅看wiki和github可以保证用好ngx-lua，但是如果想深入的话，似乎除了源码阅读外没有更好的办法了。关于这一点，不知道如何深入呢，请春哥指教。

On Monday, June 29, 2015 at 11:29:30 AM UTC+8, agentzh wrote:

Hello!

2015-06-29 10:33 GMT+08:00 Zhendong Huang:
> 首先，对于module来说，module就是一个table。那么 local bar =
> require(“foo”)时，bar是一个table，而且由于lua_code_cache on的缘故，不管在哪里写这条语句， local bar
> = require(“foo”)也好， local mmm =
> require(“foo”)也好，bar和mmm指的都是一个table，这样的话这个foo是否具有了一定的“全局”的意思？而且这个全局是数据上的共享。

基本上可以这么理解。有几点需要澄清一下：

1. Lua module 不一定是 table，也可以是 function，只是 table 比较常见罢了。function 的一个例子是
LuaJIT 2.1 的 require("table.new").

2. Lua module 的全局共享特性是由于 require() 函数。这个函数在第一次加载模块 foo 的时候会把 foo
模块（无论是 table 还是其他）缓存在 package.loaded 这个全局表中（当然，这个表其实也不是全局变量，而是注册在 Lua
registry 里，而 Lua registry 是 VM 级别唯一的，共享的）。

3. 你在 Lua module 文件里的顶层作用域里声明的 local 变量一般会通过 upvalue 的形式挂载到 Lua module
里使用到这些变量的 function 里，而这些 function 一般会注册到 Lua module 的 table 里面，或者进一步以
upvalue 的形式挂载到这样的其他 function 中。

> 然后，如果foo module有new方法， local bar = require(“foo”)， local t = bar.new()，local
> p = bar.new()，这里的t和p指的是不同的table，这里就没有共享在里面了。

是的。不过其实它们可以共享一个 metatable，而这个 metatable 一般（可以）就是 module table 本身。

> 然后，lua虚拟机的各个协程的隔离指的是lua的协程机制，lua协程是互相隔离的，而正好每个请求是通过协程处理的，所以对于外部请求来说，是互相隔离的。但是在处理每个请求时，指向了同一个table，就像第一条里说的那种情况一样，这个时候的数据共享和lua协程的隔离机制是不冲突的，两个不是一回事。

ngx_lua 自己只实现了基于全局变量环境表的隔离。即每个请求都有自己的一套全局变量。仅此而已。当然，我有计划添加一个
lua_separate_globals on|off 配置指令，允许用户自己禁用全局环境表的隔离，只要用户确保自己没有滥用 Lua
全局变量就没有问题。禁用全局表隔离后可以每请求节约至少一个 Lua table 的创建。这对于类似 hello world
那样的简单接口还是有些意义的，性能上会有可测量的区别，虽然还是很小。

Regards,
-agentzh

chenliq

嗯，春哥真的很细心，很感谢他的一直以来的帮助，不过你的解答也很认真呀，也要谢谢你的分享啊，让我了解得更深一些了

在 2015年6月30日星期二 UTC+8上午10:07:26，Zhendong Huang写道：

感谢春哥回复，非常深入和严谨，学习到很多。
关于ngx-lua，我看到的和学到的非常表面，仅仅看wiki和github可以保证用好ngx-lua，但是如果想深入的话，似乎除了源码阅读外没有更好的办法了。关于这一点，不知道如何深入呢，请春哥指教。

On Monday, June 29, 2015 at 11:29:30 AM UTC+8, agentzh wrote:
Hello!

2015-06-29 10:33 GMT+08:00 Zhendong Huang:
> 首先，对于module来说，module就是一个table。那么 local bar =
> require(“foo”)时，bar是一个table，而且由于lua_code_cache on的缘故，不管在哪里写这条语句， local bar
> = require(“foo”)也好， local mmm =
> require(“foo”)也好，bar和mmm指的都是一个table，这样的话这个foo是否具有了一定的“全局”的意思？而且这个全局是数据上的共享。

基本上可以这么理解。有几点需要澄清一下：

1. Lua module 不一定是 table，也可以是 function，只是 table 比较常见罢了。function 的一个例子是
LuaJIT 2.1 的 require("table.new").

2. Lua module 的全局共享特性是由于 require() 函数。这个函数在第一次加载模块 foo 的时候会把 foo
模块（无论是 table 还是其他）缓存在 package.loaded 这个全局表中（当然，这个表其实也不是全局变量，而是注册在 Lua
registry 里，而 Lua registry 是 VM 级别唯一的，共享的）。

3. 你在 Lua module 文件里的顶层作用域里声明的 local 变量一般会通过 upvalue 的形式挂载到 Lua module
里使用到这些变量的 function 里，而这些 function 一般会注册到 Lua module 的 table 里面，或者进一步以
upvalue 的形式挂载到这样的其他 function 中。

> 然后，如果foo module有new方法， local bar = require(“foo”)， local t = bar.new()，local
> p = bar.new()，这里的t和p指的是不同的table，这里就没有共享在里面了。

是的。不过其实它们可以共享一个 metatable，而这个 metatable 一般（可以）就是 module table 本身。

> 然后，lua虚拟机的各个协程的隔离指的是lua的协程机制，lua协程是互相隔离的，而正好每个请求是通过协程处理的，所以对于外部请求来说，是互相隔离的。但是在处理每个请求时，指向了同一个table，就像第一条里说的那种情况一样，这个时候的数据共享和lua协程的隔离机制是不冲突的，两个不是一回事。

ngx_lua 自己只实现了基于全局变量环境表的隔离。即每个请求都有自己的一套全局变量。仅此而已。当然，我有计划添加一个
lua_separate_globals on|off 配置指令，允许用户自己禁用全局环境表的隔离，只要用户确保自己没有滥用 Lua
全局变量就没有问题。禁用全局表隔离后可以每请求节约至少一个 Lua table 的创建。这对于类似 hello world
那样的简单接口还是有些意义的，性能上会有可测量的区别，虽然还是很小。

Regards,
-agentzh

agentzh

Hello!

2015-06-30 10:07 GMT+08:00 Zhendong Huang:
> 感谢春哥回复，非常深入和严谨，学习到很多。

客气 :)

> 关于ngx-lua，我看到的和学到的非常表面，仅仅看wiki和github可以保证用好ngx-lua，但是如果想深入的话，似乎除了源码阅读外没有更好的办法了。关于这一点，不知道如何深入呢，请春哥指教。
>

最主要方法是阅读源码。如果有疑问的话建议先在 google 里搜索相关的关键字，毕竟我经常会在公开场合里谈论 ngx_lua 以及
nginx 核心的许多实现细节。如果还是 google 不到，再建议在这个邮件列表里提问 :)

如果我有时间的话，我也想多写些 ngx_lua
的内部实现文档。不过估计一时不会有这样的时间，毕竟还有许多更有趣的开发工作等着我去做，呵呵。而开发工作也需要包括你在内的社区朋友们的支援
:) 所以如果你有相关的心得，也欢迎贡献博客文章之类的文档，我也很乐意帮你 review :)

Best regards,
-agentzh

bg2bkk

我这个太野路子啦，共同成长：）

On Tuesday, June 30, 2015 at 10:26:01 AM UTC+8, 陈立强 wrote:

嗯，春哥真的很细心，很感谢他的一直以来的帮助，不过你的解答也很认真呀，也要谢谢你的分享啊，让我了解得更深一些了

bg2bkk

好的，用心，然后循序渐进。能够从group获得成长，也非常期待能够回馈社区。

On Tuesday, June 30, 2015 at 11:44:12 AM UTC+8, agentzh wrote:

Hello!

最主要方法是阅读源码。如果有疑问的话建议先在 google 里搜索相关的关键字，毕竟我经常会在公开场合里谈论 ngx_lua 以及
nginx 核心的许多实现细节。如果还是 google 不到，再建议在这个邮件列表里提问 :)

如果我有时间的话，我也想多写些 ngx_lua
的内部实现文档。不过估计一时不会有这样的时间，毕竟还有许多更有趣的开发工作等着我去做，呵呵。而开发工作也需要包括你在内的社区朋友们的支援
:) 所以如果你有相关的心得，也欢迎贡献博客文章之类的文档，我也很乐意帮你 review :)

Best regards,
-agentzh