部署logstash收集daemonset logstash发过去的kafka日志及kibana简单使用
  EeGZtZT5Jsfk 2023年11月02日 29 0

实现:部署如下图红框 位置logstash

架构:

部署logstash收集daemonset logstash发过去的kafka日志及kibana简单使用_logstash

主机:10.0.7.56

部署logstash

yum -y install java-1.8.0-openjdk
yum -y install https://mirror.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.9.0/logstash-7.9.0.rpm
systemctl start logstash
systemctl enable logstash

创建配置文件

从kafka接收数据,发送到es

[root@logstash conf.d]# pwd 
/etc/logstash/conf.d
[root@logstash conf.d]# cat logsatsh-daemonset-jsonfile-kafka-to-es.conf
input {
kafka {
bootstrap_servers => "10.0.7.53:9092,10.0.7.54:9092,10.0.7.55:9092"
topics => ["jsonfile-log-topic"]
codec => "json"
}
}

output {
#if [fields][type] == "app1-access-log" {
if [type] == "jsonfile-daemonset-applog" {
elasticsearch {
hosts => ["10.0.7.46:9200","10.0.7.47:9200","10.0.7.48:9200"]
index => "jsonfile-daemonset-applog-%{+YYYY.MM.dd}"
}}

if [type] == "jsonfile-daemonset-syslog" {
elasticsearch {
hosts => ["10.0.7.46:9200","10.0.7.47:9200","10.0.7.48:9200"]
index => "jsonfile-daemonset-syslog-%{+YYYY.MM.dd}"
}}
}

kibana创建索引

部署logstash收集daemonset logstash发过去的kafka日志及kibana简单使用_elastic_02

下一步,时间筛选字段名称选择:“@timestamp”

点击索引管理查看创建的索引,从这里可以删除索引,则ES的索引也被删除

部署logstash收集daemonset logstash发过去的kafka日志及kibana简单使用_logstash_03

点击发现查看

部署logstash收集daemonset logstash发过去的kafka日志及kibana简单使用_logstash_04

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  ehrZuhofWJiC   2024年04月26日   38   0   0 日志Java
EeGZtZT5Jsfk