为什么选择在云服务器上部署Spark？

Apache Spark作为当前最流行的大数据处理框架之一，在云环境中的部署能够带来显著的弹性扩展优势。根据Databricks 2022年的调研报告，78%的企业选择在云平台上运行Spark工作负载，主要原因包括：

• 资源弹性：可根据工作负载动态调整计算资源
• 成本效益：按需付费模式降低硬件投资
• 管理便捷：云平台提供完善的基础设施管理

准备工作

在开始配置前，请确保已完成以下准备：

建议使用至少2台云服务器组成集群：1台Master节点和1+台Worker节点。AWS EC2的m5.xlarge（4vCPU/16GB内存）或阿里云ecs.g6ne.xlarge是常见选择。

详细配置步骤

1. Java环境安装

# Ubuntu/Debian
sudo apt update
sudo apt install openjdk-11-jdk -y

# CentOS/RHEL
sudo yum install java-11-openjdk-devel

2. 下载并安装Spark

访问Spark官网获取最新稳定版（当前推荐3.3.1）：

wget https://dlcdn.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz
tar -xzf spark-3.3.1-bin-hadoop3.tgz
sudo mv spark-3.3.1-bin-hadoop3 /opt/spark

3. 环境变量配置

编辑~/.bashrc或/etc/profile：

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export PYSPARK_PYTHON=/usr/bin/python3

4. 集群配置文件修改

关键配置文件位于$SPARK_HOME/conf/：

• spark-env.sh（复制模板文件）：

  export SPARK_MASTER_HOST=your_master_ip
  export SPARK_WORKER_CORES=4
  export SPARK_WORKER_MEMORY=8g

• workers文件添加所有Worker节点IP

集群启动与管理

启动集群

# 在Master节点执行
$SPARK_HOME/sbin/start-master.sh
$SPARK_HOME/sbin/start-workers.sh

验证集群状态

访问Master节点的Web UI（默认8080端口）查看集群状态：

http://your_master_ip:8080

提交测试任务

spark-submit --master spark://your_master_ip:7077 \
    --class org.apache.spark.examples.SparkPi \
    $SPARK_HOME/examples/jars/spark-examples_2.12-3.3.1.jar 100

常见问题解决

Q: Worker节点无法连接到Master

A: 检查安全组规则是否开放7077(Spark)和8080(Web UI)端口

Q: 任务执行时报内存不足

A: 调整spark.executor.memory参数或增加Worker节点内存

Q: Python依赖问题

A: 使用--py-files参数提交依赖包，或配置virtualenv