前言

在大数据时代，Hadoop作为分布式存储和计算框架的基石，已成为企业数据处理的核心工具。本教程将详细讲解如何在Linux系统上安装Hadoop，帮助开发者快速搭建自己的大数据处理环境。

准备工作

1. 系统要求：推荐使用Ubuntu 20.04 LTS或CentOS 8
2. 硬件配置：至少4GB RAM，50GB硬盘空间
3. 软件依赖：Java JDK 8+（建议OpenJDK 11）

# 检查Java是否安装
java -version
# 如果没有安装，执行
sudo apt install openjdk-11-jdk

详细安装步骤

1. 下载Hadoop安装包

访问Apache官网下载稳定版本（建议3.3.4+）：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

2. 解压并配置环境变量

tar -xzvf hadoop-3.3.4.tar.gz
sudo mv hadoop-3.3.4 /usr/local/hadoop

# 编辑环境变量
echo 'export HADOOP_HOME=/usr/local/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

3. 配置Hadoop

编辑核心配置文件：

• etc/hadoop/core-site.xml
• etc/hadoop/hdfs-site.xml
• etc/hadoop/mapred-site.xml
• etc/hadoop/yarn-site.xml

4. 设置SSH免密登录

ssh-keygen -t rsa -P ''
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

5. 格式化NameNode

hdfs namenode -format

6. 启动Hadoop集群

start-dfs.sh
start-yarn.sh

验证安装

通过以下命令检查服务是否正常运行：

jps
# 应看到NameNode, DataNode, ResourceManager等进程

访问Web界面：

• NameNode: http://localhost:9870
• ResourceManager: http://localhost:8088

常见问题解决

Q: 启动时报Java版本错误

A: 确保JAVA_HOME环境变量指向正确的JDK路径

Q: 无法访问Web界面

A: 检查防火墙设置，开放相关端口（9870,8088等）

Q: DataNode无法启动

A: 检查日志文件，通常是权限或端口冲突问题

性能优化建议

• 根据硬件资源调整Hadoop内存配置
• 为HDFS设置合理的副本数（默认3）
• 配置合理的YARN资源分配策略
• 考虑使用SSD提升I/O性能

下一步学习方向

成功安装Hadoop后，建议继续学习：

1. HDFS文件系统操作
2. MapReduce编程模型
3. YARN资源管理
4. Hive、HBase等生态系统组件