一、安装前准备

在开始安装Spark前，需要确保系统满足以下基本要求：

• Java环境：Spark运行需要Java 8/11/17，推荐使用OpenJDK
• 磁盘空间：至少2GB可用空间
• 内存：建议4GB以上
• Python（可选）：如需使用PySpark，需安装Python 3.6+

二、各平台安装步骤

1. Linux系统安装（以Ubuntu为例）

# 步骤1：安装Java
sudo apt update
sudo apt install openjdk-11-jdk

# 步骤2：下载Spark（以3.3.1版本为例）
wget https://downloads.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz

# 步骤3：解压安装包
tar -xzf spark-3.3.1-bin-hadoop3.tgz
mv spark-3.3.1-bin-hadoop3 /opt/spark

# 步骤4：配置环境变量
echo 'export SPARK_HOME=/opt/spark' >> ~/.bashrc
echo 'export PATH=$PATH:$SPARK_HOME/bin' >> ~/.bashrc
source ~/.bashrc

2. Windows系统安装

Windows用户需要额外安装WinUtils工具：

1. 下载Spark二进制包并解压到C:\spark
2. 下载对应版本的winutils.exe放入C:\spark\bin
3. 设置系统环境变量：
   • SPARK_HOME = C:\spark
   • 将%SPARK_HOME%\bin添加到PATH

3. MacOS安装（使用Homebrew）

# 安装Java
brew install openjdk@11

# 安装Spark
brew install apache-spark

三、验证安装

运行Spark自带的示例程序验证安装是否成功：

spark-submit --class org.apache.spark.examples.SparkPi \
    --master local[2] \
    $SPARK_HOME/examples/jars/spark-examples_2.12-3.3.1.jar 10

如果看到"Pi is roughly 3.14..."的输出，说明安装成功。

四、常见问题解决

问题	解决方案
Java版本不兼容	检查Java版本（java -version），确保使用Spark支持的版本
内存不足	修改spark-defaults.conf中的spark.driver.memory参数
Windows权限问题	确保winutils.exe有执行权限，并设置正确的Hadoop目录权限

五、进阶配置

完成基础安装后，可进行以下优化配置：

1. 配置日志级别（修改log4j.properties）
2. 设置集群模式（Standalone/YARN/Mesos）
3. 配置Spark History Server
4. 优化内存和CPU配置