部署logstash收集daemonset filebeat发过去的kafka日志
  EeGZtZT5Jsfk 2023年11月02日 88 0

实现:部署如下图红框 位置logstash

架构:


主机:10.0.7.56

部署logstash

yum -y install java-1.8.0-openjdk
yum -y install https://mirror.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.9.0/logstash-7.9.0.rpm
systemctl start logstash
systemctl enable logstash
tail -f /var/log/logstash/logstash-plain.log

创建配置文件

从kafka接收数据,发送到es

vim /etc/logstash/conf.d/daemonset-filebeat-kafka-to-es.conf
input {
kafka {
bootstrap_servers => "10.0.7.53:9092,10.0.7.54:9092,10.0.7.55:9092"
topics => ["daemonset-pod-console-log"]
}
}


filter {
if [fields][log_topic] == "daemonset-pod-console-log" {
mutate {
remove_field => ["@version","agent","ecs"]
}
}
}

output {
if [fields][log_topic] == "daemonset-pod-console-log" {
elasticsearch {
hosts => ["10.0.7.46:9200","10.0.7.47:9200","10.0.7.48:9200"]
index => "daemonset-pod-console-log-%{+YYYY.MM.dd}"
}
}
}

启动并查看日志

systemctl restart logstash
tail -f /var/log/logstash/logstash-plain.log

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  ehrZuhofWJiC   2024年04月26日   38   0   0 日志Java
EeGZtZT5Jsfk