客服电话
APP下载
迪恩网络APP
随时随地掌握行业动态
官方微信
扫描二维码
关注迪恩网络微信公众号
|
本文转自：https://www.cnblogs.com/gxyandwmm/p/11298912.html ********************* 部署过程 ************************** 一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 二:技术方案得益于openresty和kafka的高性能，我们可以非常轻量高效的实现当前需求，架构如下: 三:相关技术 四:安装配置 2)安装编译openresty: #配置: 3)安装lua-resty-kafkaJava代码 收藏代码 #拷贝lua-resty-kafka到openresty 4):安装单机kafka # 开启单机zookeeper 五:配置运行开发编辑/opt/openresty/nginx/conf/nginx.conf 实现kafka记录nginx日志功能，源码如下: events { http {
} 六:检测&运行Java代码 收藏代码 七:测试1:使用任意http请求发送给当前nginx，如: 2:查看upstream代理是否工作正常 # 从头消费topic数据命令 效果监测: #单nginx+upstream测试: #结果 引用 #单nginx+upstream+log_lua_kafka接入测试: #结果
********************* 最重要的模块 ************************** nginx配置文件配置如下： #user nobody;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
upstream myServer {
server 192.168.0.109:8080 weight=1;
}
lua_package_path "/opt/openresty/lualib/kafka/?.lua;;";
lua_need_request_body on;
server {
listen 80;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location /test1 {
# 请求转向自定义的服务器列表
proxy_pass http://myServer;
}
location /test2 {
# 使用log_by_lua 包含lua代码,因为log_by_lua指令运行在请求最后且不影响proxy_pass机制
log_by_lua '
-- 引入lua所有api
local topic = "test"
local cjson = require "cjson"
local producer = require "resty.kafka.producer"
-- 定义kafka broker地址，ip需要和kafka的host.name配置一致
local broker_list = {
{ host = "192.168.0.109", port = 9092 },
{ host = "192.168.0.110", port = 9092 },
{ host = "192.168.0.101", port = 9092 }
}
-- 定义json便于日志数据整理收集
local log_json = {}
log_json["uri"]=ngx.var.uri
log_json["args"]=ngx.req.get_uri_args()
log_json["host"]=ngx.var.host
log_json["request_body"]=ngx.var.request_body
log_json["remote_addr"] = ngx.var.remote_addr
log_json["remote_user"] = ngx.var.remote_user
log_json["time_local"] = ngx.var.time_local
log_json["status"] = ngx.var.status
log_json["body_bytes_sent"] = ngx.var.body_bytes_sent
log_json["http_referer"] = ngx.var.http_referer
log_json["http_user_agent"] = ngx.var.http_user_agent
log_json["http_x_forwarded_for"] = ngx.var.http_x_forwarded_for
log_json["upstream_response_time"] = ngx.var.upstream_response_time
log_json["request_time"] = ngx.var.request_time
-- 转换json为字符串
local message = cjson.encode(ngx.req.get_uri_args());
-- 定义kafka异步生产者
local bp = producer:new(broker_list, { producer_type = "async" })
-- 发送日志消息,send第二个参数key,用于kafka路由控制:
-- key为nill(空)时，一段时间向同一partition写入数据
-- 指定key，按照key的hash写入到对应的partition
local ok, err = bp:send(topic, nil, message)
if not ok then
ngx.log(ngx.ERR, "kafka send err:", err)
return
end
';
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
# proxy the PHP scripts to Apache listening on 127.0.0.1:80
#
#location ~ \.php$ {
# proxy_pass http://127.0.0.1;
#}
# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
#
#location ~ \.php$ {
# root html;
# fastcgi_pass 127.0.0.1:9000;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
# include fastcgi_params;
#}
# deny access to .htaccess files, if Apache's document root
# concurs with nginx's one
#
#location ~ /\.ht {
# deny all;
#}
}
# another virtual host using mix of IP-, name-, and port-based configuration
#
#server {
# listen 8000;
# listen somename:8080;
# server_name somename alias another.alias;
# location / {
# root html;
# index index.html index.htm;
# }
#}
# HTTPS server
#
#server {
# listen 443 ssl;
# server_name localhost;
# ssl_certificate cert.pem;
# ssl_certificate_key cert.key;
# ssl_session_cache shared:SSL:1m;
# ssl_session_timeout 5m;
# ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_prefer_server_ciphers on;
# location / {
# root html;
# index index.html index.htm;
# }
#}
}
********************* 遇到的坑 ************************** 问题概述： 利用server1服务器上的openresty nginx的lua脚本往server5中kafka写数据，发现报错 无法解析主机（no resolver defined to resolve "xxxxx"），xxxxx是某台机器的域名，再后来，经过一天的摸索，发现了问题。 问题原因： 最终发现，原来是openResty不会去解析 host 映射，因为kafka客户端用IP连接后会请求broker，然后去到zookeeper拿到broker集群信息（地址记录是 kafka236:1111），这时候lua消费者拿到的是 kafka236 的IP， 但是又不会通过 host去解析，就会报错无法解析主机的问题。 解决方案 nginx.conf配置：
DNS配置：
备注说明： 2、如果kafka服务端Listen配置成IP，那么在zookeeper记录的是IP地址 如果kafka服务端Listen配置成域名，那么在zookeeper记录的是域名 如果kafka服务端有advertised.listeners配置成域名，那么zookeeper会记录成域名，不管Listen配置成什么
后来发现 高版本的 openresty-1.13.6.2 , 在kafka中配置域名无法访问，只能是IP，配置resolver也不行。 |
请发表评论