在开始配置Kafka前，需要确保云服务器满足以下条件：

1. 云服务器选择：建议使用4核8G及以上配置（如AWS EC2 m5.xlarge实例）
2. 操作系统：推荐使用CentOS 7/8或Ubuntu 18.04/20.04 LTS
3. Java环境：需要安装Java 8或11（OpenJDK或Oracle JDK均可）
4. 存储空间：至少50GB SSD存储（Kafka对磁盘I/O要求较高）

1. 安装Java环境

# Ubuntu/Debian
sudo apt update
sudo apt install openjdk-11-jdk

# CentOS/RHEL
sudo yum install java-11-openjdk-devel

2. 下载并安装Kafka

wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
tar -xzf kafka_2.13-3.2.0.tgz
cd kafka_2.13-3.2.0

3. 配置Kafka服务器

编辑config/server.properties文件，关键配置如下：

# broker唯一标识
broker.id=0

# 监听地址（改为云服务器内网IP）
listeners=PLAINTEXT://10.0.0.1:9092

# 日志存储目录
log.dirs=/data/kafka-logs

# ZooKeeper连接地址
zookeeper.connect=localhost:2181

# 建议根据云服务器配置调整以下参数
num.network.threads=8
num.io.threads=16
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

1. 多节点集群配置

在生产环境中，建议至少配置3个Kafka broker节点：

• 为每个broker分配唯一的broker.id（1,2,3...）
• 设置相同的zookeeper.connect地址
• 配置advertised.listeners为云服务器公网IP

2. 云环境特殊配置

# 防止云环境IP变化导致问题
advertised.listeners=PLAINTEXT://[公网IP]:9092

# 优化云磁盘性能
log.flush.interval.messages=10000
log.flush.interval.ms=1000

3. 安全配置

建议启用SSL加密和SASL认证：

security.protocol=SASL_SSL
ssl.keystore.location=/path/to/kafka.server.keystore.jks
ssl.truststore.location=/path/to/kafka.server.truststore.jks

1. 启动与停止服务

# 启动ZooKeeper（单节点测试用）
bin/zookeeper-server-start.sh config/zookeeper.properties &

# 启动Kafka
bin/kafka-server-start.sh config/server.properties &

# 停止服务
bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh

2. 常用管理命令

# 创建topic
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092

# 查看topic列表
bin/kafka-topics.sh --list --bootstrap-server localhost:9092

# 生产消息
bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

# 消费消息
bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092