从零开始：手把手教你安装Kafka的完整指南

一、安装前的准备工作

1.1 系统要求

Kafka可以运行在多种操作系统上，但推荐使用Linux环境以获得最佳性能。

• 操作系统：Linux/Unix/MacOS
• Java环境：JDK 1.8或以上版本
• 内存：至少4GB（生产环境推荐8GB以上）
• 磁盘空间：20GB以上（根据数据量调整）

1.2 安装Java环境

Kafka是基于Java开发的，因此需要先安装Java运行环境：

sudo apt update
sudo apt install openjdk-11-jdk
java -version  # 验证安装

二、下载和安装Kafka

2.1 获取Kafka安装包

从Apache官网下载最新稳定版Kafka：

wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
tar -xzf kafka_2.13-3.6.1.tgz
cd kafka_2.13-3.6.1

2.2 配置Kafka

修改config/server.properties文件中的关键配置：

# 修改broker.id，每个节点需要唯一
broker.id=0

# 修改监听地址
listeners=PLAINTEXT://:9092

# 设置日志存储目录
log.dirs=/tmp/kafka-logs

三、启动Kafka服务

3.1 启动Zookeeper

Kafka依赖Zookeeper进行集群管理（3.0+版本可选择不使用Zookeeper）：

bin/zookeeper-server-start.sh config/zookeeper.properties

3.2 启动Kafka服务器

新开终端窗口启动Kafka：

bin/kafka-server-start.sh config/server.properties

四、验证安装

4.1 创建测试主题

bin/kafka-topics.sh --create --topic test-topic \
--bootstrap-server localhost:9092 \
--partitions 1 --replication-factor 1

4.2 发送和接收消息

启动生产者发送消息：

bin/kafka-console-producer.sh --topic test-topic \
--bootstrap-server localhost:9092

另开终端启动消费者接收消息：

bin/kafka-console-consumer.sh --topic test-topic \
--from-beginning --bootstrap-server localhost:9092

五、常见问题解决方案

5.1 端口冲突问题

如果遇到端口占用错误，可以修改config/server.properties中的端口号。

5.2 Java版本不兼容

确保使用Java 8或11版本，其他版本可能导致兼容性问题。

5.3 磁盘空间不足

定期清理Kafka日志或配置自动删除策略：

log.retention.hours=168  # 保留7天

六、进阶配置建议

• 多节点集群配置：复制server.properties并修改broker.id和监听地址
• 安全配置：配置SSL/TLS加密和SASL认证
• 性能调优：调整num.io.threads和num.network.threads参数
• 监控配置：集成Prometheus和Grafana进行监控