• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

服务网关---基于Nginx+lua+Redis的服务降级设计(一)

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

一:服务限流功能点
    1:根据请求入参中的服务标识判断nginx后端服务是否处于流量限制中。如果是,则全部限制访问,否则,转发请求到后端服务。
    2:容错机制,如果Redis宕机等异常,限流模块失效,所有客户端请求放行。
    3:是否开启限流,及限流类型(AF:全部请求限制访问,PF:设置阈值,每秒限制请求多少次)可热加载。

二:设计思路
    1:在Reids中设置服务键值标识,Y标识限速,其它表示不限速。
    2:在Nginx中获取请求体,判断服务标识是否流量控制中,如果是,即拦截请求返回403,否则通过。
    3:如果在连接Redis和从Redis中读取数据时发生异常,则跳出限流模块,转发请求到服务端。

三:Nginx配置及服务限流开关代码

http {
    include       mime.types;

    log_format  main  '$remote_addr - [$time_local] $request $status  $request_body';

    access_log  /home/lws/soft/openResty/nginx/logs/access.log main;

    upstream interServer{
    # ip_hash;  # 负载均衡算法,默认为轮询
    server 127.0.0.1:55555 max_fails=2 fail_timeout=2;
    server 127.0.0.1:55556 max_fails=2 fail_timeout=2;
    server 127.0.0.1:55557 max_fails=2 fail_timeout=2;
    }

    lua_package_path '/home/lws/soft/openResty/nginx/conf/lua/?.lua;;';

    lua_shared_dict ip_white_list 10m;  # 分配一块10m共享内存空间,缓存ip白名单
    lua_shared_dict limit_info 12m;     # 分配一块12m共享内存空间,缓存限流开关信息

    server {
        listen  8000;
        lua_need_request_body on;   # nginx默认不读取请求体,需要配置开启

        # 解决跨域问题
        # add_header Access-Control-Allow-Origin * always;
        # add_header Access-Control-Allow-Headers Origin,X-Requested-Width,Content-Type,Accept;

        location /rest/eai {
            # access_by_lua_file /home/lws/soft/openResty/nginx/conf/lua/ip_white_list.lua;
            access_by_lua_file /home/lws/soft/openResty/nginx/conf/lua/limit_rate.lua;
            proxy_pass http://interServer/rest/service;    # proxy_pass用来将请求反向代理到url参数指定的服务器

            proxy_redirect     off;
            # 修改从被代理服务器传来的应答头location和refresh字段
            # proxy_redirect [ default|off|redirect replacement ]
            # 默认值: proxy_redirect default
            # 使用字段:http, server, location
            # demo: proxy_redirect https://github.com  修改后的应答头;

            # 默认情况,反向代理不会转发原始请求中的 Host 头部,如果需要,使用proxy_set_header设置
            proxy_set_header   Host             $host;
            proxy_set_header   X-Real-IP        $remote_addr;
            proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
        }

        # All forbidden
        # Partial forbidden
        # curl 'http://127.0.0.1:8000/set_limit_info?type=AF&value=Y'
        location /set_limit_info {
            content_by_lua '
                local limit_info = ngx.shared.limit_info
                local limit_type = ngx.var.arg_type
                local limit_value = ngx.var.arg_value
                if limit_type == "AF"  then
                    limit_info:set("limit_AF_flag",limit_value)
                    ngx.say(limit_type .. ":" .. limit_info:get("limit_AF_flag"))
                else
                    ngx.say("Your input incorrect")
                end
            ';
        }


    }

四:限流源码(AF:全部限制)

local mylib = require "do_mylib"
local cjson = require "cjson"

ngx.req.read_body()

local reqstr = ngx.req.get_body_data()

------- 请求报文可能为nil多考虑异常情况 让后将报文设置为NULL -------
if not reqstr then
    reqstr = ''
end

ngx.ctx.SRV_NAME = mylib.trim(mylib.get_xml_value(reqstr,'ActivityCode'))


-- 在此进行针对单个服务完全访问限制 调用本机 redis 的 6379 端口 进行控制
-- 需要在nginx.conf新增一个location,用于设置共享内存的标示,判断限速类型
-- 在redis中使用set设置键值,如 set 'T3000002' 'Y' 表示:T3000002的服务需要限速 Y表示限速,其它不限速
--[=[
		# All forbidden
        # Partial forbidden
        # curl 'http://127.0.0.1:8000/set_limit_info?type=AF&value=Y'
        location /set_limit_info {
            content_by_lua '
                local limit_info = ngx.shared.limit_info
                local limit_type = ngx.var.arg_type
                local limit_value = ngx.var.arg_value
                if limit_type == "AF"  then
                    limit_info:set("limit_AF_flag",limit_value)
                    ngx.say(limit_type .. ":" .. limit_info:get("limit_AF_flag"))
                else
                    ngx.say("Your input incorrect")
                end
            ';
        }
]=]

local limit_info = ngx.shared.limit_info
local rip = '127.0.0.1'
local rport = 6379

if limit_info:get('limit_AF_flag') == 'Y' then
    local key = string.format('%s',ngx.ctx.SRV_NAME)
    local retcode,retmsg = mylib.get_redis_info(rip,rport,key)
    if retcode == 0 then
    	if retmsg == 'Y' then
        	ngx.exit(ngx.HTTP_FORBIDDEN)
        end
    end
end

五:源码(自定义公共包)
 

--------- 定义库的函数 --------
module("do_mylib", package.seeall)

function get_xml_value(strxml,nodename)
  if strxml == '' or nodename == '' then
    return ''
  end
  local s1 = string.format('<%s>',nodename)
  local s2 = string.format('</%s>',nodename)
  local f1s,f1e = string.find(strxml,s1)
  if not f1s or not f1e then
    return ''
  end
  local f2s = string.find(strxml,s2,f1e)
  if f2s == nil then
    return ''
  end
  return string.sub(strxml,f1e+1,f2s-1)
end

---   字符串分割函数   ---
function split(inputstr, sep)
    local t={}
    local i=1
    for str in string.gmatch(inputstr, "([^"..sep.."]+)") do
        t[i] = str
        i = i + 1
    end
    return t
end

function trim(s)
  local ss = s or ''
  return ss:match'^%s*(.*%S)' or ''
end


function get_redis_info(ip,port,key)
    local redis = require "resty.redis"
    local red = redis:new()
    local errmsg = ''
    red:set_timeout(1000) -- 1 sec
    local ok, err = red:connect(ip, port)
    if not ok then
        errmsg = string.format('MyRedisError:connect %s:%s:%s',ip,port,err)
        ngx.log(ngx.ERR, errmsg)
        return -1,errmsg
    end

    --添加redis的auth认证,如果无auth,则不需要
    local count
    count, err = red:get_reused_times()
    if 0 == count then
        ok, err = red:auth('liws')
        if not ok then
            errmsg = string.format("failed to auth %s",err)
            return -1, errmsg
        end
    elseif err then
        errmsg = string.format("failed to get reused times %s",err)
        return -1, errmsg
    end

    local res, err = red:get(key)
    if not res then
        errmsg = string.format('MyRedisError:get key:%s fail:%s:%s:%s',key,ip,port,err)
        ngx.log(ngx.ERR, errmsg)
        return -1,errmsg
    end
    -- put it into the connection pool of size 100,
    -- with 10 seconds max idle time
    local ok, err = red:set_keepalive(100000000, 128)
    if not ok then
        errmsg = string.format('MyRedisError:set_keepalive %s:%s:%s',ip,port,err)
        ngx.log(ngx.ERR, errmsg)
    end
    -- ngx.null  lua_resty_redis中查询为空返回ngx.null
    if res == ngx.null then
        errmsg = string.format('MyRedisError:key:%s not found %s:%s',key,ip,port)
        return -1, errmsg
    end
    return 0,res
end

 


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
C++与Lua交互(一)发布时间:2022-07-22
下一篇:
windows端加密程序,lua代码,ZeroBrane调试发布时间:2022-07-22
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap