执行外部程序时，unicode编码的问题？

fatfatson

os.execute("echo '\\u9093' |python -c 'import sys; print sys.stdin.read().decode(\"unicode-escape\");'")

如上，为了把\uXXXX形式的字符串转成正常的utf8编码，没找到lua实现的库，只好调用一段python代码来做。

上面这句在控制台下，用luajit去执行是正常的，会打出\u9093对应的字符

但是放在openresty里执行却会报错：

Traceback (most recent call last):

File "<string>", line 1, in <module>

UnicodeEncodeError: 'ascii' codec can't encode character u'\u9093' in position 0: ordinal not in range(128)

不知道这跟进程的一些全局属性有没关系？是nginx在启动时某些配置导致的吗？

fatfatson

如果我把这段python代码存成文件，在lua里调用python去执行这个文件，也可以正常解码。但直接以命令行代码的形式就不行了，真是奇怪呀。

在 2016年2月4日星期四 UTC+8下午11:25:48，小冶写道：

os.execute("echo '\\u9093' |python -c 'import sys; print sys.stdin.read().decode(\"unicode-escape\");'")

如上，为了把\uXXXX形式的字符串转成正常的utf8编码，没找到lua实现的库，只好调用一段python代码来做。
上面这句在控制台下，用luajit去执行是正常的，会打出\u9093对应的字符
但是放在openresty里执行却会报错：
Traceback (most recent call last):
File "<string>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\u9093' in position 0: ordinal not in range(128)

不知道这跟进程的一些全局属性有没关系？是nginx在启动时某些配置导致的吗？

agentzh

Hello!

2016-02-04 7:25 GMT-08:00 小冶:
> os.execute("echo '\\u9093' |python -c 'import sys; print
> sys.stdin.read().decode(\"unicode-escape\");'")
>

你这个 os.execute() + python 调用实在太昂贵了，很可能成为你应用里面绝对的性能瓶颈。

> 如上，为了把\uXXXX形式的字符串转成正常的utf8编码，没找到lua实现的库，只好调用一段python代码来做。

OpenResty 自带的 LuaJIT 2.1 原生支持 Unicode 转义序列，但是使用的是 \u{XXXX} 记法，而不是
\uXXXX. 看下面的例子：

    $ resty -e 'print "\u{9093}"'
    邓

Regards,
-agentzh

fatfatson

试了下，确实可以。。是2.1才支持的功能吗？我系统里是brew装的2.0.4还不行。。

其实这里调用外部程序不只是为了转码，主要是因为要访问下facebook的api，国内服务器呃呃。。

本来一般调其它api都是配一个proxy_pass用location.capture搞，但是那样似乎没法设置代理，所以只好放给外部用curl配个http_proxy来取数据，再顺带用py转一下码了。。

谢谢春哥！

不过这个关于直接执行命令行代码和运行文件导致转码差异的问题，还是没弄清楚，搜索都不知道搜什么关键词，不知道春哥怎么理解？

在 2016年2月5日星期五 UTC+8上午4:36:17，agentzh写道：

Hello!

2016-02-04 7:25 GMT-08:00 小冶:
> os.execute("echo '\\u9093' |python -c 'import sys; print
> sys.stdin.read().decode(\"unicode-escape\");'")
>

你这个 os.execute() + python 调用实在太昂贵了，很可能成为你应用里面绝对的性能瓶颈。

> 如上，为了把\uXXXX形式的字符串转成正常的utf8编码，没找到lua实现的库，只好调用一段python代码来做。

OpenResty 自带的 LuaJIT 2.1 原生支持 Unicode 转义序列，但是使用的是 \u{XXXX} 记法，而不是
\uXXXX. 看下面的例子：

$ resty -e 'print "\u{9093}"'
邓

Regards,
-agentzh

agentzh

Hello!

2016-02-04 19:05 GMT-08:00 小冶:
> 试了下，确实可以。。是2.1才支持的功能吗？我系统里是brew装的2.0.4还不行。。
>

是 LuaJIT 2.1 的新功能。所以我才一直建议直接使用 OpenResty 软件包，以避免不必要的麻烦。

> 其实这里调用外部程序不只是为了转码，主要是因为要访问下facebook的api，国内服务器呃呃。。
> 本来一般调其它api都是配一个proxy_pass用location.capture搞，但是那样似乎没法设置代理，所以只好放给外部用curl配个http_proxy来取数据，再顺带用py转一下码了。。
>

代理……

> 不过这个关于直接执行命令行代码和运行文件导致转码差异的问题，还是没弄清楚，搜索都不知道搜什么关键词，不知道春哥怎么理解？
>

应该是你的 Lua 字符串的字符转义有问题吧。你可以把命令字符串输出到文件里（比如日志文件）进行调试。

Regards,
-agentzh

fatfatson

应该是你的 Lua 字符串的字符转义有问题吧。你可以把命令字符串输出到文件里（比如日志文件）进行调试。

这个不是很明白啊？同样的代码，用luajit去执行可以，在openresty里执行报错，应该不是代码本身的问题，是进程环境属性方面的差异导致吧？

在 2016年2月6日星期六 UTC+8上午6:14:59，agentzh写道：

Hello!

2016-02-04 19:05 GMT-08:00 小冶:
> 试了下，确实可以。。是2.1才支持的功能吗？我系统里是brew装的2.0.4还不行。。
>

是 LuaJIT 2.1 的新功能。所以我才一直建议直接使用 OpenResty 软件包，以避免不必要的麻烦。

> 其实这里调用外部程序不只是为了转码，主要是因为要访问下facebook的api，国内服务器呃呃。。
> 本来一般调其它api都是配一个proxy_pass用location.capture搞，但是那样似乎没法设置代理，所以只好放给外部用curl配个http_proxy来取数据，再顺带用py转一下码了。。
>

代理……

> 不过这个关于直接执行命令行代码和运行文件导致转码差异的问题，还是没弄清楚，搜索都不知道搜什么关键词，不知道春哥怎么理解？
>

应该是你的 Lua 字符串的字符转义有问题吧。你可以把命令字符串输出到文件里（比如日志文件）进行调试。

Regards,
-agentzh

agentzh

Hello!

2016-02-06 3:58 GMT-08:00 小冶:
>> 应该是你的 Lua 字符串的字符转义有问题吧。你可以把命令字符串输出到文件里（比如日志文件）进行调试。
>
> 这个不是很明白啊？同样的代码，用luajit去执行可以，在openresty里执行报错，应该不是代码本身的问题，是进程环境属性方面的差异导致吧？
>

这取决于你内联 Lua 代码在 nginx.conf 配置文件里面的方式，建议尽量使用 *_by_lua_block 或者
*_by_lua_file 配置指令。更多细节请见

    https://github.com/openresty/lua-nginx-module#special-escaping-sequences

由于你没有提供足够的细节信息，所以我无从帮你确认问题。

Regards,
-agentzh

ifduyue

dedecode('unicode-escape') 后是 unicode，print unicode 时是要根据环境变量 locale 来 encode 的。
控制台下 locale 是 utf-8，openresty 里面就不一定了。建议 encode('utf-8') 后 print。

fatfatson

加上encode后可以了。。感谢~

在 2016年2月8日星期一 UTC+8下午8:44:30，Yue Du写道：

dedecode('unicode-escape') 后是 unicode，print unicode 时是要根据环境变量 locale 来 encode 的。
控制台下 locale 是 utf-8，openresty 里面就不一定了。建议 encode('utf-8') 后 print。