Linux云服务器搭建Kafka消息队列完整指南

一、准备工作

在开始安装前，请确保您的云服务器满足以下条件：

• 操作系统：推荐使用CentOS 7+/Ubuntu 18.04 LTS及以上版本
• 硬件配置：至少2核CPU、4GB内存、50GB存储空间
• Java环境：Kafka需要Java 8或11运行环境
• 网络配置：开放9092端口（Kafka服务端口）和2181端口（Zookeeper端口）

二、安装Java环境

Kafka依赖Java运行环境，首先安装OpenJDK：

# CentOS/RHEL
sudo yum install java-11-openjdk-devel

# Ubuntu/Debian
sudo apt-get install openjdk-11-jdk

验证安装：java -version，应显示Java 11版本信息

三、安装Zookeeper

Kafka依赖Zookeeper进行集群协调，我们先安装Zookeeper：

wget https://downloads.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz
cd apache-zookeeper-3.6.3-bin/conf
cp zoo_sample.cfg zoo.cfg

修改zoo.cfg配置文件：

dataDir=/var/lib/zookeeper
clientPort=2181

启动Zookeeper服务：./bin/zkServer.sh start

四、安装Kafka

下载并解压最新版Kafka：

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0

配置Kafka

编辑config/server.properties文件：

# broker唯一标识
broker.id=0

# 监听地址
listeners=PLAINTEXT://:9092

# 日志存储目录
log.dirs=/tmp/kafka-logs

# Zookeeper连接地址
zookeeper.connect=localhost:2181

启动Kafka服务

# 后台启动
./bin/kafka-server-start.sh -daemon config/server.properties

五、测试Kafka集群

创建测试主题：

./bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

发送消息：

./bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

消费消息（新终端）：

./bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

六、生产环境优化建议

• 日志保留策略：调整log.retention.hours参数控制消息保留时间
• 副本配置：生产环境建议replication.factor≥3确保数据安全
• 监控配置：集成Prometheus+Grafana实现可视化监控
• 安全配置：配置SSL加密和SASL认证提高安全性

七、常见问题解决

• 端口冲突：检查9092和2181端口是否被占用
• 磁盘空间不足：确保log.dirs配置的目录有足够空间
• 连接超时：检查防火墙设置和云安全组规则
• 性能瓶颈：根据负载调整num.io.threads和num.network.threads参数