天津市城市建设学校官方网站,网站建设动画教程,网络服务提供者发现未成年人,网站怎么做的zookeeperkafka分布式消息队列集群的部署 紧接上期#xff0c;在ELFK的基础上#xff0c;添加kafka做数据缓冲 附kafka消息队列 nginx服务器配置filebeat收集日志#xff1a;192.168.116.40#xff0c;修改配置将采集到的日志转发给kafka#xff1b;
kafka集群#xff… zookeeperkafka分布式消息队列集群的部署 紧接上期在ELFK的基础上添加kafka做数据缓冲 附kafka消息队列 nginx服务器配置filebeat收集日志192.168.116.40修改配置将采集到的日志转发给kafka
kafka集群192.168.116.10192.168.116.20192.168.116.30生产和消费端口9092
logstashkibana192.168.116.50修改配置从kafka中消费日志并输出到kibana前端展示
elasticsearch群集192.168.116.60192.168.116.70对格式化后的数据进行索引和存储。
1.修改filebeat配置文件filebeat.yml收集日志转发生产给kafka 2.修改logstash配置从kafka中消费日志并输出到kibana前端展示
input {kafka {bootstrap_servers 192.168.116.10:9092,192.168.116.20:9092,192.168.116.10:9092topics nginx_logtype nginx_logcodec jsonauto_offset_reset latestdecorate_events true}
}filter {grok {match [message, (?remote_addr%{IPV4}|%{IPV6})[\s-]\[(?logTime.)\] \(?http_method.) (?url_path/.*) (?http_ver.)\ (?rev_code\d) \d \.*\ \(?User_agent.)\ \.*\]}mutate {replace { host nginx_server }}date {match [logTime,dd/MMM/yyyy:HH:mm:ss Z]timezone Asia/Shanghai}
}output {if [source] /var/log/nginx/access.log {elasticsearch {hosts [192.168.116.60:9200,192.168.116.70:9200]index nginx_access-%{YYYY.MM.dd}}}if [source] /var/log/nginx/error.log {elasticsearch {hosts [192.168.116.60:9200,192.168.116.70:9200]index nginx_error-%{YYYY.MM.dd}}}stdout {codec rubydebug}
}开启logstash此时访问web测试页面就可以在kibana对日志收集分析了 访问网站 在kibana中收集和分析
