Linux系统下Kafka配置完全指南

一、环境准备

在开始配置前，请确保您的Linux系统满足以下要求：

• CentOS/Ubuntu等主流Linux发行版
• Java 8或更高版本（Kafka依赖JVM运行）
• 至少4GB内存（生产环境建议8GB以上）
• root或sudo权限

二、安装Java环境

# Ubuntu/Debian
sudo apt update
sudo apt install openjdk-11-jdk

# CentOS/RHEL
sudo yum install java-11-openjdk-devel

三、下载并安装Kafka

推荐从Apache官网获取最新稳定版：

wget https://downloads.apache.org/kafka/3.5.0/kafka_2.13-3.5.0.tgz
tar -xzf kafka_2.13-3.5.0.tgz
cd kafka_2.13-3.5.0

四、基础配置

1. 配置Zookeeper

编辑config/zookeeper.properties：

dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=100

2. 配置Kafka服务器

编辑config/server.properties：

broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/var/lib/kafka
num.partitions=3
zookeeper.connect=localhost:2181

五、启动服务

建议使用systemd管理服务：

1. 创建Zookeeper服务

[Unit]
Description=Apache Zookeeper
After=network.target

[Service]
ExecStart=/path/to/kafka/bin/zookeeper-server-start.sh config/zookeeper.properties
User=kafka
Group=kafka

[Install]
WantedBy=multi-user.target

2. 创建Kafka服务

[Unit]
Description=Apache Kafka
Requires=zookeeper.service
After=zookeeper.service

[Service]
ExecStart=/path/to/kafka/bin/kafka-server-start.sh config/server.properties
User=kafka
Group=kafka

[Install]
WantedBy=multi-user.target

六、测试验证

创建测试主题并发送消息：

# 创建主题
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092

# 发送消息
bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

# 接收消息（另开终端）
bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

七、生产环境优化建议

• 配置多节点集群提高可用性
• 设置合理的日志保留策略（log.retention.hours）
• 启用SSL/TLS加密通信
• 配置监控系统（Prometheus + Grafana）
• 设置合理的副本因子（default.replication.factor）