ngx.re.find() 无法正确匹配中文字符，不知道是url解码的问题，还是正则匹配过程出现了问题？

dym518518 · 2016-05-31T11:15:39+00:00

感谢~在 2016年5月30日星期一 UTC+8下午5:00:20，XI WANG写道：https://...

ngx.re.find() 无法正确匹配中文字符，不知道是url解码的问题，还是正则匹配过程出现了问题？

dym518518

请求如下链接：

GET /getdata/search?keyword=%E7%9A%96%E7%BB%B4%E9%AB%98%E6%96%B0&type=3&count=20&thispage=1

用unescape_uri()函数解码后,用ngx.re.find()进行正则匹配，其中正则表达式为(?i:(?:[\"'`´’‘]\s*?[^\w\s?]+\s*?[^\w\s]+\s*?[\"'`´’‘]))，ngx.re.find() 函数返回结果是 from ,to = (6:9) 。但是我用正则检测工具结果是keyword字符串并不匹配该正则。我想知道ngx.re.find 匹配了什么，为什么用string.sub(value, from, to)打印不出该字符串。

example:

access_by_lua_block {

local args = ngx.req.get_uri_args() or ""

for k,v in pairs(args) do

local from ,to ,err = ngx.re.find(ngx.unescape_uri(v),[[(?i:(?:[\"'`´’‘]\s*?[^\w\s?]+\s*?[^\w\s]+\s*?[\"'`´’‘]))]],"imjo")

if from then

ngx.log(ngx.ERR,"request = ",ngx.var.request or ""," ; match value = ",string.sub(ngx.unescape_uri(v), from, to),"\n")

end

}

测试：curl http://192.168.1.43/?keyword=%E7%9A%96%E7%BB%B4%E9%AB%98%E6%96%B0

问题：这个地方的正则并不能匹配keyword的值，但是ngx.re.find()却是匹配成功

doujiang24

Hello

最小化测试用例，应该这样写更好：

local str = ngx.unescape_uri('%E7%9A%96%E7%BB%B4%E9%AB%98%E6%96%B0')

local pattern = [[(?i:(?:[\"'`´’‘]\s*?[^\w\s?]+\s*?[^\w\s]+\s*?[\"'`´’‘]))]]

local from, to = ngx.re.find( str, pattern, "imjo")

ngx.say("from: ", from)

ngx.say("to: ", to)

ngx.say("matched: ", string.sub(str, from, to))

这样我们可以直接通过 resty 命令行工具跑起来，而且代码可读性高很多

你的问题就在于，你没有使用 utf8 模式，贴上文档：

u             UTF-8 mode. this requires PCRE to be built with
              the --enable-utf8 option or else a Lua exception will be thrown.

https://github.com/openresty/lua-nginx-module/#ngxrematch

在 2016年5月31日上午11:15， <dym5...@gmail.com>写道：

请求如下链接：
GET /getdata/search?keyword=%E7%9A%96%E7%BB%B4%E9%AB%98%E6%96%B0&type=3&count=20&thispage=1
用unescape_uri()函数解码后,用ngx.re.find()进行正则匹配，其中正则表达式为(?i:(?:[\"'`´’‘]\s*?[^\w\s?]+\s*?[^\w\s]+\s*?[\"'`´’‘]))，ngx.re.find() 函数返回结果是 from ,to = (6:9) 。但是我用正则检测工具结果是keyword字符串并不匹配该正则。我想知道ngx.re.find 匹配了什么，为什么用string.sub(value, from, to)打印不出该字符串。

example:

access_by_lua_block {
local args = ngx.req.get_uri_args() or ""
for k,v in pairs(args) do
local from ,to ,err = ngx.re.find(ngx.unescape_uri(v),[[(?i:(?:[\"'`´’‘]\s*?[^\w\s?]+\s*?[^\w\s]+\s*?[\"'`´’‘]))]],"imjo")
if from then
ngx.log(ngx.ERR,"request = ",ngx.var.request or ""," ; match value = ",string.sub(ngx.unescape_uri(v), from, to),"\n")
end
end
}

测试：curl http://192.168.1.43/?keyword=%E7%9A%96%E7%BB%B4%E9%AB%98%E6%96%B0

问题：这个地方的正则并不能匹配keyword的值，但是ngx.re.find()却是匹配成功

--