一、准备工作

在开始搭建Spark集群前，您需要做好以下准备工作：

• 云服务器选择：推荐使用至少3台云服务器（1个Master节点，2个Worker节点）
• 操作系统：建议使用Ubuntu 20.04 LTS或CentOS 8
• 硬件配置：每台服务器至少4核CPU，8GB内存，50GB存储空间
• 网络环境：确保所有节点间网络互通，建议配置内网IP

二、环境配置

1. 基础环境安装

# 更新系统
sudo apt update && sudo apt upgrade -y

# 安装Java环境（推荐JDK8或JDK11）
sudo apt install openjdk-11-jdk -y

# 验证Java安装
java -version

2. SSH免密登录配置

Spark集群节点间需要通过SSH通信，配置免密登录可大幅简化操作：

# 生成SSH密钥（在所有节点执行）
ssh-keygen -t rsa

# 将公钥复制到其他节点
ssh-copy-id user@master-ip
ssh-copy-id user@worker1-ip
ssh-copy-id user@worker2-ip

三、Spark集群安装与配置

1. 下载并安装Spark

# 下载Spark（以3.3.0版本为例）
wget https://downloads.apache.org/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz

# 解压安装包
tar -xzf spark-3.3.0-bin-hadoop3.tgz
mv spark-3.3.0-bin-hadoop3 /opt/spark

2. 配置环境变量

在所有节点上编辑~/.bashrc文件，添加以下内容：

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

3. 配置Spark集群

进入$SPARK_HOME/conf目录，进行以下配置：

• spark-env.sh：配置环境变量

  export SPARK_MASTER_HOST=master-ip
  export SPARK_WORKER_CORES=4
  export SPARK_WORKER_MEMORY=8g

• workers：添加Worker节点

  worker1-ip
  worker2-ip

四、启动与验证集群

1. 启动Spark集群

# 在Master节点执行
$SPARK_HOME/sbin/start-all.sh

2. 验证集群状态

访问Master节点的Web UI（默认端口8080）：http://master-ip:8080

您应该能看到所有Worker节点已成功注册。

五、性能优化建议

1. 内存配置：根据实际硬件调整executor内存大小
2. 并行度设置：合理设置partition数量
3. 数据本地性：尽可能将计算靠近数据存储位置
4. 持久化策略：对重复使用的RDD进行缓存