Kafka集群搭建 、 搭建kafka-eagle-web
  86p06QWQqGRm 2023年11月02日 75 0


最新领导要求整理kafka的搭建整理文档,特此整理如下:

一、Kafka集群搭建

1. 安装环境:

centos,jdk8,安装好的zookeeper环境,三台相同的机器作为节点

2下载、解压kafka,版本是kafka_2.11-1.1.0;

生产环境为:/hadoop/
测试环境下为:/home/

3.修改配置

进入kafka的安装目录下,修改配置文件server.properties即可。

cd kafka_2.11-1.1.0/config/

vim server.properties

Kafka集群搭建 、 搭建kafka-eagle-web_kafka


Kafka集群搭建 、 搭建kafka-eagle-web_Eagle_02


Kafka集群搭建 、 搭建kafka-eagle-web_hadoop_03

其中在server.properties中关键配置项说明:
以下是比较重要的几项配置

broker.id = 1 (三个节点配成不同的1,2,3)
host.name=hb2 (本机ip或者主机名)
listeners= PLAINTEXT://192.168.xx.xx:9092 (本机ip)
advertised.listeners=PLAINTEXT://192.168.xx.xx:9092
log.dirs=/data1/kafka-logs
zookeeper.connect= hb2:2181,hb3:2181,hd4:2181,hd5:2181,hd6:2181 1 (之前安装的三个zk节点)
log.retention.hours=168 ##默认kafka中数据保存一周

完成之后,修改mastesr和slaves的主机名称之后,将所有的整个安装文件通过scp命令分发同步到其他集群节点中

4.启动停止kafka集群

单台启停:在/hadoop/
/hadoop/kafka_2.11-1.1.0/bin/目录下,使用
./bin/kafka-server-start.sh -daemon ./config/server.properties
单台启停:停止的时候,找到进程号。直接kill就行了

由于需要启动每一台机器的kafka节点服务,这里我配置了kafka集群一键脚本start_kafka_byfang.sh和stop_kafka_byfang.sh如下:

start_kafka_byfang.sh脚本

Kafka集群搭建 、 搭建kafka-eagle-web_hadoop_04


stop_kafka_byfang.sh脚本

Kafka集群搭建 、 搭建kafka-eagle-web_Eagle_05


(脚本具体路径在:/hadoop/kafka_2.11-1.1.0/bin/)

至此:kafka集群安装完成

二、搭建kafka-eagle-web

其中kafka-eagle是kafka的web-ui监控界面,用来使用可视化图形查看topic,分区数量等信息;

1.下载与解压

下载kafka_2.11-1.1.0.tgz压缩文件,然后使用tar -zxvf kafka_2.11-1.1.0.tgz 解压缩
下面开始安装kafka的web –ui,安装路径在/hadoop/下
下载解压kafka-eagle-web-1.2.4.tgz

2.修改配置:

更改配置文件/hadoop/kafka-eagle-web-1.2.4/conf/system-config.properties

只用更改以下重要配置项即可

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hb2:2181,hb3:2181,hd4:2181,hd5:2181,hd6:2181
kafka.eagle.sasl.client=/hadoop/kafka-eagle-web-1.2.4/conf/kafka_client_jaas.conf

#存储位置
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle-web-1.2.4/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=123456

3.启动停止

单机启动:./ke.sh start
单机停止:./ke.sh stop

然后就可以访问web: http://host:port/ke
登陆用户名:密码(默认,在server.properties修改)
kafka.eagle.username=root
kafka.eagle.password=123456
登陆成功之后如下图:

删除topic时候需要输入口令为

# delete kafka topic token
kafka.eagle.topic.token=keadmin

参考的文章:
Kafka监控系统Kafka Eagle剖析
javascript:void(0) Kafka集群监控工具之二–Kafka Eagle
javascript:void(0)


【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

86p06QWQqGRm