一、准备工作

在开始安装前，请确保你的Linux系统满足以下要求：

• 操作系统：CentOS 7+/Ubuntu 16.04+
• Java环境：JDK 8+（推荐OpenJDK）
• 内存：至少4GB（生产环境建议8GB以上）
• 磁盘空间：50GB以上（根据数据量调整）

1.1 安装Java环境

# Ubuntu/Debian系统
sudo apt-get update
sudo apt-get install openjdk-11-jdk

# CentOS/RHEL系统
sudo yum install java-11-openjdk-devel

# 验证安装
java -version

二、Kafka安装步骤

2.1 下载Kafka

访问Apache Kafka官网获取最新稳定版：

wget https://downloads.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz
tar -xzf kafka_2.13-3.4.0.tgz
cd kafka_2.13-3.4.0

2.2 配置Zookeeper

Kafka依赖Zookeeper进行集群协调：

# 修改zookeeper配置
vim config/zookeeper.properties

# 重要配置项
dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=100

2.3 配置Kafka服务

vim config/server.properties

# 关键配置参数
broker.id=0
listeners=PLAINTEXT://:9092
log.dirs=/var/lib/kafka-logs
num.partitions=3
zookeeper.connect=localhost:2181

三、启动与验证

3.1 启动服务

# 启动Zookeeper（后台运行）
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

# 启动Kafka服务
bin/kafka-server-start.sh config/server.properties

3.2 创建测试主题

bin/kafka-topics.sh --create --topic test-topic \
--bootstrap-server localhost:9092 \
--partitions 3 --replication-factor 1

3.3 生产消费测试

# 启动生产者
bin/kafka-console-producer.sh --topic test-topic \
--bootstrap-server localhost:9092

# 另开终端启动消费者
bin/kafka-console-consumer.sh --topic test-topic \
--bootstrap-server localhost:9092 --from-beginning

四、高级配置与优化

4.1 生产环境配置建议

• 调整JVM参数：修改bin/kafka-server-start.sh中的内存设置
• 日志保留策略：log.retention.hours=168（7天）
• 副本因子设置：default.replication.factor=3（生产环境）

4.2 系统调优

• 文件描述符限制：ulimit -n 100000
• 禁用swap分区：sudo swapoff -a
• 调整文件系统参数：noatime,data=writeback

五、常见问题解决

5.1 端口冲突问题

如果遇到端口被占用，可以通过以下命令查找并释放：

netstat -tulnp | grep 9092
kill -9 [PID]

5.2 磁盘空间不足

定期清理日志或配置自动删除策略：

log.retention.bytes=1073741824 # 1GB
log.retention.check.interval.ms=300000

5.3 性能瓶颈排查

使用Kafka自带工具监控集群状态：

bin/kafka-run-class.sh kafka.tools.JmxTool \
--object-name kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec \
--jmx-url service:jmx:rmi:///jndi/rmi://localhost:9999/jmxrmi