使用resty.redis作为接口服务器

supercracker0 · 2016-06-28T14:23:52+00:00

额你是如何判断是 string.find 无法 jit 的呢opcode 51: FNEW，是指&#x7...

使用resty.redis作为接口服务器

supercracker0

大家好：

我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？

yuansheng

2016-06-28 14:23 GMT+08:00 徐重峰 <superc...@gmail.com>:

大家好：
我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

两个做法：

1. show me your code，能复现的，大家帮你排查问题

2. 拍个火焰图，发出来

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？

有问题不猜测，有可能你的问题是你现在完全想不到的点引起的。

--

YuanSheng Wang

---------------------------------------

My Github: https://github.com/membphis

OpenResty lover ^_^

doujiang24

Hello

在 2016年6月28日下午2:23，徐重峰 <superc...@gmail.com>写道：

大家好：
我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

QPS 低，那是什么原因导致 QPS 低呢，CPU 占用高？请求响应慢？并发压力不够？

你这描述得也太 "主观" 了，你需要把情况说清楚

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？

这个应该不至于

--

spacewanderlzx

可以考虑下用redis的pipeline+lock或者lua脚本合并下hmget操作，减少IO的次数。

在 2016年6月28日星期二 UTC+8下午2:23:52，徐重峰写道：

大家好：
我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？

supercracker0

嗯，我使用了pipeline合并了操作，将请求数降为7个，但是QPS还是很低。

补充一下代码和现象：

nginx worker的nginx的占用很高，接近100%。

代码：

/usr/local/openresty/lualib/project/redisConn.lua

local _M = {}

local redis = require("resty.redis")

local HOST = "127.0.0.1"

local PORT = 6379

local DATABASE = 0

local TIMEOUT = 5000 --ms

local MAX_IDLE_TIME = 10000 --ms

local POOL_SIZE = 3000

function _M.getConn()

local conn, err = redis:new()

if not conn then

ngx.say("failed to new: ", err)

end

conn:set_timeout(TIMEOUT)

local ok, err = conn:connect(HOST, PORT)

if not ok then

ngx.say("failed to connect: ", err)

return

end

local res, err = conn:select(DATABASE)

if not res then

ngx.say("falied to select: ", err)

return

end

--conn:set_keepalive(MAX_IDLE_TIME, POOL_SIZE)

return conn

end

return _M

业务逻辑代码：(类似操作，业务逻辑比较长)

local redis = require("resty.redis")

local pool = require("project/redisConn")

local cjson = require("cjson")

local conn = pool.getConn()

--str = ""

--for i = 1, 77000 do

-- str = "d"..str

--end

--conn:hset("hello", "world", str)

for i = 1, 6 do

conn:init_pipeline()

for i = 1, 6 do

value, err= conn:hget("hello", "world")

end

conn:commit_pipeline()

end

if not value then

ngx.say(err)

return

end

ngx.say(value)

conn:set_keepalive(5000, 1000)。

火焰图：包括该例子的和实际业务的。可以看到主要集中在C:ngx_http_lua_socket_tcp_receive/send上。

在 2016年6月29日星期三 UTC+8下午5:10:14，Zexuan Luo写道：

可以考虑下用redis的pipeline+lock或者lua脚本合并下hmget操作，减少IO的次数。

在 2016年6月28日星期二 UTC+8下午2:23:52，徐重峰写道：
大家好：
我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？

Attachment: a.svg
Description: image/svg

Attachment: b.svg
Description: image/svg

yuansheng

2016-06-29 17:49 GMT+08:00 徐重峰 <superc...@gmail.com>:

嗯，我使用了pipeline合并了操作，将请求数降为7个，但是QPS还是很低。
补充一下代码和现象：
nginx worker的nginx的占用很高，接近100%。

代码：
/usr/local/openresty/lualib/project/redisConn.lua

local _M = {}

local redis = require("resty.redis")

local HOST = "127.0.0.1"
local PORT = 6379
local DATABASE = 0
local TIMEOUT = 5000 --ms
local MAX_IDLE_TIME = 10000 --ms
local POOL_SIZE = 3000

function _M.getConn()
local conn, err = redis:new()
if not conn then
ngx.say("failed to new: ", err)
end

conn:set_timeout(TIMEOUT)

local ok, err = conn:connect(HOST, PORT)
if not ok then
ngx.say("failed to connect: ", err)
return
end

local res, err = conn:select(DATABASE)

这里不是必须的，是个小优化点。

if not res then
ngx.say("falied to select: ", err)
return
end
--conn:set_keepalive(MAX_IDLE_TIME, POOL_SIZE)
return conn
end

return _M

业务逻辑代码：(类似操作，业务逻辑比较长)

local redis = require("resty.redis")
local pool = require("project/redisConn")
local cjson = require("cjson")

local conn = pool.getConn()

--str = ""
--for i = 1, 77000 do
-- str = "d"..str
--end
--conn:hset("hello", "world", str)
for i = 1, 6 do
conn:init_pipeline()
for i = 1, 6 do
value, err= conn:hget("hello", "world")
end
conn:commit_pipeline()
end

if not value then
ngx.say(err)
return
end
ngx.say(value)

conn:set_keepalive(5000, 1000)。

代码本身没什么大问题，在笔记本上简单跑了一下，单核 worker qps 是 1.2w-1.4w 左右。

如果你这里比这个还慢，需要你贴一下你的 nginx 配置，看看是否有不合理的配置了，比如 lua code cache 设置为 off 了。

火焰图：包括该例子的和实际业务的。可以看到主要集中在C:ngx_http_lua_socket_tcp_receive/send上。

在 2016年6月29日星期三 UTC+8下午5:10:14，Zexuan Luo写道：
可以考虑下用redis的pipeline+lock或者lua脚本合并下hmget操作，减少IO的次数。

在 2016年6月28日星期二 UTC+8下午2:23:52，徐重峰写道：
大家好：
我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？

--

YuanSheng Wang

---------------------------------------

My Github: https://github.com/membphis

OpenResty lover ^_^

cuiweixie

可以考虑下pipeline

在 2016年6月28日星期二 UTC+8下午2:23:52，徐重峰写道：

大家好：
我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？

ssdrliu

这种on-cpu火焰图采集都落到C:ngx_http_lua_socket_tcp_receive/send调用上的情况，可能是什么问题？

在 2016年7月4日星期一 UTC+8下午7:26:24，YuanSheng写道：

2016-06-29 17:49 GMT+08:00 徐重峰 <superc...@gmail.com>:
嗯，我使用了pipeline合并了操作，将请求数降为7个，但是QPS还是很低。
补充一下代码和现象：
nginx worker的nginx的占用很高，接近100%。

代码：
/usr/local/openresty/lualib/project/redisConn.lua

local _M = {}

local redis = require("resty.redis")

local HOST = "127.0.0.1"
local PORT = 6379
local DATABASE = 0
local TIMEOUT = 5000 --ms
local MAX_IDLE_TIME = 10000 --ms
local POOL_SIZE = 3000

function _M.getConn()
local conn, err = redis:new()
if not conn then
ngx.say("failed to new: ", err)
end

conn:set_timeout(TIMEOUT)

local ok, err = conn:connect(HOST, PORT)
if not ok then
ngx.say("failed to connect: ", err)
return
end

local res, err = conn:select(DATABASE)

这里不是必须的，是个小优化点。

if not res then
ngx.say("falied to select: ", err)
return
end
--conn:set_keepalive(MAX_IDLE_TIME, POOL_SIZE)
return conn
end

return _M

业务逻辑代码：(类似操作，业务逻辑比较长)

local redis = require("resty.redis")
local pool = require("project/redisConn")
local cjson = require("cjson")

local conn = pool.getConn()

--str = ""
--for i = 1, 77000 do
-- str = "d"..str
--end
--conn:hset("hello", "world", str)
for i = 1, 6 do
conn:init_pipeline()
for i = 1, 6 do
value, err= conn:hget("hello", "world")
end
conn:commit_pipeline()
end

if not value then
ngx.say(err)
return
end
ngx.say(value)

conn:set_keepalive(5000, 1000)。

代码本身没什么大问题，在笔记本上简单跑了一下，单核 worker qps 是 1.2w-1.4w 左右。
如果你这里比这个还慢，需要你贴一下你的 nginx 配置，看看是否有不合理的配置了，比如 lua code cache 设置为 off 了。

火焰图：包括该例子的和实际业务的。可以看到主要集中在C:ngx_http_lua_socket_tcp_receive/send上。

在 2016年6月29日星期三 UTC+8下午5:10:14，Zexuan Luo写道：
可以考虑下用redis的pipeline+lock或者lua脚本合并下hmget操作，减少IO的次数。

在 2016年6月28日星期二 UTC+8下午2:23:52，徐重峰写道：
大家好：
   我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？

--

--

YuanSheng Wang
---------------------------------------
My Github: https://github.com/membphis
OpenResty lover ^_^

detailyang

Hello，能否给出单个请求的 RT，我们不知道你环境上 Redis 的情况，如果单个 Redis 实例响应 325 次 hmget 响应就很慢，那 QPS 自然是上不来的嘿嘿

在 2016年6月28日星期二 UTC+8下午2:23:52，徐重峰写道：

大家好：
我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？

supercracker0

当时的问题是我在虚拟机里测试，nginx的worker为1，后端redis实例为1，redis和nginx都成为瓶颈，所以性能上不去。

在 2016年9月21日星期三 UTC+8上午11:26:36，detailyang写道：

Hello，能否给出单个请求的 RT，我们不知道你环境上 Redis 的情况，如果单个 Redis 实例响应 325 次 hmget 响应就很慢，那 QPS 自然是上不来的嘿嘿

在 2016年6月28日星期二 UTC+8下午2:23:52，徐重峰写道：
大家好：
我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？

detailyang

做性能测试嘛就是要找出各个系统组件中最短的板，最好分离压力的产生端跟承受端，避免压力上不来，有条件最好拿物理机测试嘿嘿。

在 2016年6月28日星期二 UTC+8下午2:23:52，徐重峰写道：

大家好：
我打算使用openresty建立接口服务，下面是一个测试例子：

* 一个请求包含325次redis的hmget操作，无其它耗CPU的操作；

nginx和redis的配置，resty.redis的连接池，超时配置都注意了，无问题；

但是QPS极低。

我在考虑是否由于单次请求包含过多redis的IO操作，导致lua协程频繁切换，影响性能？