Henggao’s HomePage
Henggao’s HomePage/
BigData
BigData/
Kafka37:Kafka-Eagle监控安装
Kafka37:Kafka-Eagle监控安装
Search
Kafka37:Kafka-Eagle监控安装

Kafka37:Kafka-Eagle监控安装

监控MySQLkafka环境准备1. 停止kafka集群2. 修改配置Kafka-Eagle安装1. 下载2. 安装3. 启动登录命令使用TIP

监控MySQL

  • 安装好MySQL，这里使用MySQL作为Kafka-Eagle存储可视化展示的数据。

kafka环境准备

1. 停止kafka集群

# 脚本停止kafka集群
/home/bigdata/bin/kf.sh stop

# 单机停止
/usr/local/kafka/bin/kafka-server-stop.sh

2. 修改配置

root@redis01:/usr/local/kafka# vim bin/kafka-server-start.sh
修改如下参数值：修改kafka内存
  • JMX_PORT 的端口可以给个没有占用的端口既可。
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
		# 下面这个配置不起作用，导致kafka无法启动
    # export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
fi
注意：修改之后在启动Kafka 之前要分发之其他节点
root@redis01:~# xsync /usr/local/kafka/bin/kafka-server-start.sh
 

Kafka-Eagle安装

1. 下载

官网：
EFAK
EFAK
https://www.kafka-eagle.org/
EFAK
notion image
 
notion image

2. 安装

  1. 解压，出现kafka-eagle-bin-2.1.0
root@redis01:/usr/local# tar -zxvf kafka-eagle-bin-2.1.0.tar.gz
notion image
root@redis01:/usr/local# cd kafka-eagle-bin-2.1.0/
root@redis01:/usr/local/kafka-eagle-bin-2.1.0# ls
notion image
  1. 解压到/usr/local
root@redis01:/usr/local/kafka-eagle-bin-2.1.0# tar -zxvf efak-web-2.1.0-bin.tar.gz -C /usr/loca
notion image
  1. 重命名
# 重命名
root@redis01:/usr/local# mv efak-web-2.1.0/ efak
notion image
  1. 修改配置文件/usr/local/efak/conf/.properties
#  multi zookeeper & kafka cluster list 配置zookeeper集群的kafka目录
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.92.145:2181,192.168.92.146:2181,192.168.92.147:2181/kafka

# # kafka offset storage offset保存在kafka
cluster1.efak.offset.storage=kafka

# kafka mysql jdbc driver address 配置数据库，这里以mysql为例,这里的用户和密码要匹配
######################################
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=my_user
efak.password=123456
notion image
notion image
  • 这里注意一下，将MySQL的用户设置为‘%’ 即所有人可以通过用户和密码访问，参考
    MySQL Note7: 用户操作
    MySQL Note7: 用户操作
notion image
  1. 添加环境变量，添加如下信息
root@redis01:/usr/local/efak# sudo vim /etc/profile.d/my_env.sh
# JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

# KAFKA
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin

# kafkaEFAK
export KE_HOME=/usr/local/efak
export PATH=$PATH:$KE_HOME/bin
notion image
  1. 环境变量生效
root@redis01:/usr/local/efak# source /etc/profile 
# 或者
root@redis01:/usr/local/efak# source /etc/profile.d/my_env.sh
 

3. 启动

  1. 注意：启动之前需要先启动ZK以及 KAFKA 。
# 任意位置启动、停止、查看zookeeper
/home/bigdata/bin/zk1.sh start
/home/bigdata/bin/zk1.sh status
/home/bigdata/bin/zk1.sh stop

# 任意位置启动、停止Kafka
/home/bigdata/bin/kf.sh start
/home/bigdata/bin/kf.sh stop

# 单台机器都需要启动
root@redis04:/usr/local/kafka# bin/kafka-server-start.sh -daemon config/server.properties
  1. 启动efak
# /usr/local/efak/bin/ke.sh start
root@redis01:/usr/local/efak# bin/ke.sh start
notion image
 

登录

notion image
 
notion image
 

命令使用

# 启动efka    /usr/local/efak/bin/ke.sh start
root@redis01:/usr/local/efak# bin/ke.sh start

# 停止efka
root@redis01:/usr/local/efak# bin/ke.sh stop

# 重新启动efka
root@redis01:/usr/local/efak# bin/ke.sh restart

# 查看eagle的状态
root@redis01:/usr/local/efak# bin/ke.sh status
 
 

TIP

  1. 可以设置域名让浏览器缓存js文件，大大提高加载速度。
  1. 如果在使用Kafka Eagle系统中遇到其他问题，可以看$KE_HOME/logs/ke_console.out日志来分析具体的异常信息，一般都会提示具体的错误，大家可以根据错误提示来进行解决。
 
Copyright 2022 Henggao Geng