本文主要向大家介绍了【云计算】Kafka集群搭建，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

软件下载地址：kafka

接下来不多说了，开始进入kafka集群搭建

一.解压并修改目录

[hdfs@h005 bigdata]$ tar -zxvf kafka_2.10-0.10.0.0.tgz -C /usr/bigdata/

[hdfs@h005 bigdata]$ mv kafka_2.10-0.10.0.0/ kafka

[hdfs@h002 config]$ vim server.properties

配置文件

broker.id=0

host.name=h002

log.dirs=/bigdata/kafka/kafkaLogs

message.max.bytes=5242880

default.replication.factor=3

replica.fetch.max.bytes=5242880

zookeeper.connect=h002:2181,h003:2181,h004:2181

注：以上配置文件在其他从节点只需修改broker.id和host.name即可

二.启动(所有节点)

./kafka-server-start.sh -daemon ../config/server.properties

三.查看主题及发送消息

./kafka-topics.sh \

--list \

--zookeeper 192.168.1.136:2181

向topic发送消息：

./kafka-console-producer.sh --broker-list 192.168.1.136:9092 --topic test5

注：以上在主节点发送生产者

在从节点执行消费者

./kafka-console-consumer.sh \

--topic test5 \

--from-beginning \

--zookeeper 192.168.1.136:2181

四.查看副本列表

./kafka-topics.sh --describe --zookeeper h002:2181 --topic test5

五.Kafka Eagle监控工具

[hdfs@h002 bigdata]$ mv kafka-eagle-web-1.1.9/ kafka-eagle

[hdfs@h002 ~]$ vim .bash_profile

#kafka-eagle for env

export KE_HOME=/bigdata/kafka-eagle

export PATH=$PATH:$KE_HOME/bin

[hdfs@h002 conf]$ cd /usr/bigdata/kafka-eagle/conf

[hdfs@h002 conf]$ vim system-config.properties

kafka.eagle.zk.cluster.alias=cluster1

cluster1.zk.list=h002:2181,h003:2181,h004:2181

kafka.zk.limit.size=25

kafka.eagle.webui.port=8048

kafka.eagle.offset.storage=kafka

kafka.eagle.topic.token=keadmin

kafka.eagle.sasl.enable=false

kafka.eagle.sasl.protocol=SASL_PLAINTEXT

kafka.eagle.sasl.mechanism=PLAIN

kafka.eagle.sasl.client=/bigdata/kafka-eagle/conf/kafka_client_jaas.conf

#set mysql address

kafka.eagle.driver=com.mysql.jdbc.Driver

kafka.eagle.url=jdbc:mysql://192.168.xxx.xxx:3306/keuseUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull

kafka.eagle.username=hive

kafka.eagle.password=xxxxxxxx

[hdfs@h002 bin]$ chmod +x ke.sh

kafka安装是比较简单的，这里就没有详细的做介绍，监控工具居多，在这里采用了Kafka Eagle监控工具，有兴趣的伙伴可以下载尝试

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！