一、环境准备

在开始安装前，请确保你的Linux服务器满足以下条件：

• 操作系统：Ubuntu 18.04+/CentOS 7+
• Java环境：OpenJDK 8+
• 内存：建议4GB以上
• 磁盘空间：50GB以上（根据数据量调整）

二、安装Java环境

Kafka依赖Java运行环境，首先安装JDK：

# Ubuntu/Debian
sudo apt update
sudo apt install openjdk-11-jdk -y

# CentOS/RHEL
sudo yum install java-11-openjdk-devel -y

三、下载并安装Kafka

从官网下载最新稳定版Kafka（当前最新为3.3.1）：

wget https://downloads.apache.org/kafka/3.3.1/kafka_2.13-3.3.1.tgz
tar -xzf kafka_2.13-3.3.1.tgz
mv kafka_2.13-3.3.1 /usr/local/kafka

四、配置Kafka服务

1. 配置Zookeeper（Kafka 2.8+版本可省略此步骤）

vim /usr/local/kafka/config/zookeeper.properties
# 修改dataDir=/tmp/zookeeper为实际存储路径

2. 配置Kafka服务

vim /usr/local/kafka/config/server.properties
# 重要配置项：
listeners=PLAINTEXT://:9092
log.dirs=/var/lib/kafka-logs
num.partitions=3

五、启动Kafka服务

1. 启动Zookeeper（如使用内置KRaft模式可跳过）

/usr/local/kafka/bin/zookeeper-server-start.sh -daemon /usr/local/kafka/config/zookeeper.properties

2. 启动Kafka服务

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

六、验证安装

1. 创建测试主题

/usr/local/kafka/bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

2. 发送测试消息

/usr/local/kafka/bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

3. 消费测试消息

/usr/local/kafka/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

七、生产环境优化建议

• 配置日志保留策略：log.retention.hours=168
• 调整内存设置：KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"
• 启用认证和加密
• 设置合理的副本因子（建议3）

八、常见问题解决

Q：如何设置Kafka开机自启？
A：创建systemd服务文件/etc/systemd/system/kafka.service

Q：如何监控Kafka集群？
A：推荐使用Kafka Manager、Prometheus+Grafana等监控方案

Q：如何扩展Kafka集群？
A：在新节点上安装相同配置的Kafka，并修改server.properties中的broker.id