kafka3

2022-02-20

字数统计: 285字 | 阅读时长≈ 1分

Kafka最新定义：Kafka是一个开源的消息引擎系统和分布式事件流平台，用于数据管道，流分析，数据集成和关键任务应用。

传统的消息队列：缓冲/消峰解耦异步通信

点对点模式： 消费者主动拉取数据，消息收到后清除消息

发布/ 订阅： 可以有多个topic主题消费者删除数据不删除，每个消费者相互独立，都可以消费到数据

zookeeper（去zookeeper可选）

图片1 ；；；；；；

单机安装：

下载：https://dlcdn.apache.org/kafka/3.1.0/kafka-3.1.0-src.tgz

1	$ bin/zookeeper-server-start.sh config/zookeeper.properties

搭建集群

配置：

broker.id= 0 保证不重复

log.dirs= /opt/module/kafka/datas

zookeeper.connect= hadoop101:2181,hadoop103:2818,hadoop:2181/kafka

xsync kafka 分发

启动和关闭脚本

#!/bin/bash
case $1 in 
"start")
	[or i in hadoop101,hadoop102,hadoop103]
do
	echo "------------启动 $i kafka---"
	ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
done
;;
esac

8Topic命令：

1 2	bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092 bin/kafka-topics.sh --bootstrap-server hadoop1002 --topic first --create --partions 1 --repication-factor 3

本文作者： 东方觉主
本文链接： http://www.charon193.com/2022/02/20/kafka3/
版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！