body_filter_by_lua会截断字符吗？

imfox.lin

看body_filter_by_lua 的API，其中args[1]返回的是一个lua字符串，如果我的content-type是application/json,utf-8，并且响应体中有汉字，会不会出现截断的情况，比如说汉字是三个字节的编码，某个chunk中只包含最后一个汉子的前两个字节，会不会解码错乱？

agentzh

Hello!

2015-12-30 19:33 GMT-08:00 louis lin:
> 看body_filter_by_lua
> 的API，其中args[1]返回的是一个lua字符串，如果我的content-type是application/json,utf-8，并且响应体中有汉字，会不会出现截断的情况，比如说汉字是三个字节的编码，某个chunk中只包含最后一个汉子的前两个字节，会不会解码错乱？
>

会，因为 nginx 的输出过滤器系统是把响应体当作二进制字节流来看待的，所以你在 body filter
中需要有自己的状态机来处理截断的情况。可以参考 ngx_iconv 模块中的做法：

    https://github.com/calio/iconv-nginx-module

流式处理处理起来总是会更复杂一些，但对于大数据流还是非常值得的。

Regards,
-agentzh

imfox.lin

谢谢春哥的回复。

其实我想把body里面内容加密，比如说base64加密算法，使用body_filter_by_lua或者子请求哪个更好一些？

使用子请求会更加耗内存，但是body_filter_by_lua又没啥思路~

在 2015年12月31日星期四 UTC+8下午12:11:18，agentzh写道：

Hello!

2015-12-30 19:33 GMT-08:00 louis lin:
> 看body_filter_by_lua
> 的API，其中args[1]返回的是一个lua字符串，如果我的content-type是application/json,utf-8，并且响应体中有汉字，会不会出现截断的情况，比如说汉字是三个字节的编码，某个chunk中只包含最后一个汉子的前两个字节，会不会解码错乱？
>

会，因为 nginx 的输出过滤器系统是把响应体当作二进制字节流来看待的，所以你在 body filter
中需要有自己的状态机来处理截断的情况。可以参考 ngx_iconv 模块中的做法：

https://github.com/calio/iconv-nginx-module

流式处理处理起来总是会更复杂一些，但对于大数据流还是非常值得的。

Regards,
-agentzh

imfox.lin

在body_filter_by_lua里面如果对args[1]加密的话，上面说的汉字截断的问题会不会有影响？

谢谢~

在 2015年12月31日星期四 UTC+8下午12:11:18，agentzh写道：

Hello!

2015-12-30 19:33 GMT-08:00 louis lin:
> 看body_filter_by_lua
> 的API，其中args[1]返回的是一个lua字符串，如果我的content-type是application/json,utf-8，并且响应体中有汉字，会不会出现截断的情况，比如说汉字是三个字节的编码，某个chunk中只包含最后一个汉子的前两个字节，会不会解码错乱？
>

会，因为 nginx 的输出过滤器系统是把响应体当作二进制字节流来看待的，所以你在 body filter
中需要有自己的状态机来处理截断的情况。可以参考 ngx_iconv 模块中的做法：

https://github.com/calio/iconv-nginx-module

流式处理处理起来总是会更复杂一些，但对于大数据流还是非常值得的。

Regards,
-agentzh

agentzh

Hello!

2015-12-30 20:20 GMT-08:00 louis lin:
> 其实我想把body里面内容加密，比如说base64加密算法，使用body_filter_by_lua或者子请求哪个更好一些？
>

可以找个支持流式处理的 base64 编码器实现。我记得 Shuxin Yang 老师最近刚写了一个？（抄送了一下他，虽然他应该也在列表里面。）

如果是 base64 编码，多字节字符集编码就不重要了，因为 base64 一般是工作在字节流上面的，无所谓。

> 使用子请求会更加耗内存，但是body_filter_by_lua又没啥思路~
>

嗯，子请求太耗了。还是流式处理吧！

> 在body_filter_by_lua里面如果对args[1]加密的话，上面说的汉字截断的问题会不会有影响？

这取决于你的加密算法是否支持流式处理，与字符集无关。加密本身一般都工作在字节流上，而不是特定字符编码的“字符”上面，因此截不截断不会有影响。

Best regards,
-agentzh

imfox.lin

谢谢春哥，

我在lua-resty-string里面发现有AES的加密算法，看看能不能用到body_filter_by_lua里面来~

在 2015年12月31日星期四 UTC+8下午1:52:42，agentzh写道：

Hello!

2015-12-30 20:20 GMT-08:00 louis lin:
> 其实我想把body里面内容加密，比如说base64加密算法，使用body_filter_by_lua或者子请求哪个更好一些？
>

可以找个支持流式处理的 base64 编码器实现。我记得 Shuxin Yang 老师最近刚写了一个？（抄送了一下他，虽然他应该也在列表里面。）

如果是 base64 编码，多字节字符集编码就不重要了，因为 base64 一般是工作在字节流上面的，无所谓。

> 使用子请求会更加耗内存，但是body_filter_by_lua又没啥思路~
>

嗯，子请求太耗了。还是流式处理吧！

> 在body_filter_by_lua里面如果对args[1]加密的话，上面说的汉字截断的问题会不会有影响？

这取决于你的加密算法是否支持流式处理，与字符集无关。加密本身一般都工作在字节流上，而不是特定字符编码的“字符”上面，因此截不截断不会有影响。

Best regards,
-agentzh

imfox.lin

抱歉，问题问的有点飘忽不定，刚开始没有把加密这个场景说明白~

在 2015年12月31日星期四 UTC+8下午1:52:42，agentzh写道：

Hello!

2015-12-30 20:20 GMT-08:00 louis lin:
> 其实我想把body里面内容加密，比如说base64加密算法，使用body_filter_by_lua或者子请求哪个更好一些？
>

可以找个支持流式处理的 base64 编码器实现。我记得 Shuxin Yang 老师最近刚写了一个？（抄送了一下他，虽然他应该也在列表里面。）

如果是 base64 编码，多字节字符集编码就不重要了，因为 base64 一般是工作在字节流上面的，无所谓。

> 使用子请求会更加耗内存，但是body_filter_by_lua又没啥思路~
>

嗯，子请求太耗了。还是流式处理吧！

> 在body_filter_by_lua里面如果对args[1]加密的话，上面说的汉字截断的问题会不会有影响？

这取决于你的加密算法是否支持流式处理，与字符集无关。加密本身一般都工作在字节流上，而不是特定字符编码的“字符”上面，因此截不截断不会有影响。

Best regards,
-agentzh