Linux云服务器上Kafka集群的完整配置指南

在分布式系统架构中，Apache Kafka作为高吞吐量的消息队列系统，已成为大数据处理的核心组件。本文将手把手教您在Linux云服务器上完成Kafka集群的部署与调优。

一、环境准备阶段

建议选择至少2核4G配置的云服务器，操作系统推荐Ubuntu 20.04 LTS或CentOS 8。

1.1 基础依赖安装

# Ubuntu/Debian
sudo apt update
sudo apt install -y openjdk-11-jdk zookeeperd

# CentOS/RHEL
sudo yum install -y java-11-openjdk zookeeper

验证Java环境：java -version应显示11+版本

1.2 防火墙配置

sudo ufw allow 2181  # Zookeeper默认端口
sudo ufw allow 9092  # Kafka监听端口
sudo ufw enable

二、Zookeeper集群配置

以3节点集群为例：

2.1 配置文件修改

编辑/etc/zookeeper/conf/zoo.cfg：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/var/lib/zookeeper
clientPort=2181
server.1=192.168.1.101:2888:3888
server.2=192.168.1.102:2888:3888
server.3=192.168.1.103:2888:3888

三、Kafka核心安装

3.1 二进制包安装

wget https://downloads.apache.org/kafka/3.3.1/kafka_2.13-3.3.1.tgz
tar -xzf kafka_2.13-3.3.1.tgz
mv kafka_2.13-3.3.1 /opt/kafka

3.2 服务配置

编辑/opt/kafka/config/server.properties：

broker.id=1
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://your_server_ip:9092
zookeeper.connect=192.168.1.101:2181,192.168.1.102:2181,192.168.1.103:2181
log.dirs=/var/lib/kafka-logs
num.partitions=3

四、系统优化要点

文件描述符限制：ulimit -n 100000
JVM调优：建议堆内存设置为系统内存的50%
日志保留策略：根据业务需求设置log.retention.hours

常见问题排查

问题1：生产者无法连接
解决方案：检查advertised.listeners配置和防火墙规则

问题2：磁盘IO瓶颈
解决方案：使用SSD存储并配置多个日志目录

通过以上步骤，您已成功在Linux云服务器上部署了生产可用的Kafka集群。建议定期监控以下关键指标：

Broker的CPU/内存使用率
分区leader均衡情况
消费者延迟监控