博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ambari安装集群下安装kafka manager
阅读量:2239 次
发布时间:2019-05-09

本文共 2391 字,大约阅读时间需要 7 分钟。

简介:

  不想通过kafka shell来管理kafka已创建的topic信息,想通过管理页面来统一管理和查看kafka集群。所以选择了大部分人使用的kafka manager,我一共有一台主机master和三台节点slave1,slave2,slave3,一共有三个zookeeper server和三个kafka broker,分别在master,slave1,slave2。所以我把kafka manager安装在了slave3的服务器上面。

一、启动kafka的JMX端口的访问

至于JMX是什么,可以自己百度一下。启动JMX主要是为了kafka manger可以通过JMX端口来监听kafka的状态等。kafka启动的时候是没有启动JMX的,所以需要去修改kafka的启动脚本,来使kafka启动的时候启动JMX。

[root@master ~]# cd /usr/hdp/current/kafka-broker/bin/[root@master ~]# vi kafka-server-start.sh#添加下面标红的代码到指定位置if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then      export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"      export JMX_PORT="9999"  fi

上面的操作需要在三台kafka集群上都要操作,修改完以后通过页面,重启所有的kafka集群。然后再到master,slave1,slave2上查看9999端口是否启用

[root@master bin]# lsof -i:9999COMMAND   PID  USER   FD   TYPE   DEVICE SIZE/OFF NODE NAMEjava    55123 kafka   90u  IPv6 76911524      0t0  TCP *:distinct (LISTEN)

二、安装kafka manager

1、安装sbt编译环境

[root@master ~]# curl https://bintray.com/sbt/rpm/rpm |tee /etc/yum.repos.d/bintray-sbt-rpm.repo[root@master ~]# yum install sbt

2、下载kafka-manager

访问网址下载最新版的kafka-manager,然后解压、编译。

[root@slave3 ~]# cd kafka-manager-1.3.3.17[root@slave3 kafka-manager-1.3.3.17]# sbt clean dist

编译完以后,生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了,在部署的机器上不需要安装sbt。

3、复制编译好的压缩包,在需要部署的kafka机器上解压即可

[root@slave3 kafka-manager-1.3.3.17]# cp target/universal/kafka-manager-1.3.3.17.zip /usr/hdp/2.6.3.0-235/[root@slave3 kafka-manager-1.3.3.17]# cd /usr/hdp/2.6.3.0-235/[root@slave3 2.6.3.0-235]# unzip kafka-manager-1.3.3.17.zip

4、修改application.conf,把kafka-manager.zkhosts改为自己的zookeeper服务器地址

[root@slave3 2.6.3.0-235]# cd kafka-manager-1.3.3.17[root@slave3 kafka-manager-1.3.3.17]# vi conf/application.conf#修改的代码kafka-manager.zkhosts="master:2181,slave1:2181,slave2:2181"

5、启动

[root@slave3 kafka-manager-1.3.3.17]# nohup bin/kafka-manager -Dconfig.file=conf/application.conf &

默认http端口是9000,可以通过命令行参数传递:./kafka-manager -Dhttp.port=9001

6、访问

访问地址 http://slave3:9000 

创建kafka集群的名称,点击Add Cluster来进行创建,cluster name为kafka集群的别名自定义,zookeeper hosts填写master:2181,slave1:2181,slave2:2181。kafka version选择ambari版本里面相应的kafka版本。勾选具体配置是除开JMX with SSL不勾选,其余的全部勾选。

 

 然后点击save就可以了。

7、在kafka manager里面删除topic的时候发现删除不了,但是topic的名称变成了红色。然后我修改了ambari里面kafka的delete.topic.enable的参数为true。然后就可以正常的删除topic了。至于刚才的还是红色test已经没法删除了,参考 https://blog.csdn.net/fengzheku/article/details/50585972 来对zookeeper上面的数据进行删除就可以了。

 

 

 

转载于:https://www.cnblogs.com/zhang-ke/p/9020212.html

你可能感兴趣的文章
特征工程怎么做
查看>>
机器学习算法应用中常用技巧-1
查看>>
决策树的python实现
查看>>
了解 Sklearn 的数据集
查看>>
如何选择优化器 optimizer
查看>>
一文了解强化学习
查看>>
CART 分类与回归树
查看>>
seq2seq 的 keras 实现
查看>>
seq2seq 入门
查看>>
什么是 Dropout
查看>>
用 LSTM 做时间序列预测的一个小例子
查看>>
用 LSTM 来做一个分类小问题
查看>>
详解 LSTM
查看>>
按时间轴简述九大卷积神经网络
查看>>
详解循环神经网络(Recurrent Neural Network)
查看>>
为什么要用交叉验证
查看>>
用学习曲线 learning curve 来判别过拟合问题
查看>>
用验证曲线 validation curve 选择超参数
查看>>
用 Grid Search 对 SVM 进行调参
查看>>
用 Pipeline 将训练集参数重复应用到测试集
查看>>