手把手教你：Linux云服务器上安装Hadoop全攻略

一、环境准备

在开始安装前，请确保您的云服务器满足以下要求：

• 服务器配置：
  • 建议至少2核CPU
  • 4GB以上内存
  • 50GB存储空间
• 操作系统：CentOS 7/8或Ubuntu 18.04/20.04
• 网络环境：确保服务器间网络互通（如搭建集群）

二、安装前必备组件

1. Java环境安装

# Ubuntu/Debian
sudo apt update
sudo apt install openjdk-8-jdk -y

# CentOS/RHEL
sudo yum install java-1.8.0-openjdk-devel -y

验证安装：java -version应显示1.8.x版本

2. 创建专用用户

sudo adduser hadoop
sudo passwd hadoop
sudo usermod -aG sudo hadoop

三、Hadoop安装步骤

1. 下载Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz
sudo mv hadoop-3.3.4 /usr/local/hadoop

2. 配置环境变量

编辑~/.bashrc文件，添加：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

使配置生效：source ~/.bashrc

3. 修改Hadoop配置文件

进入$HADOOP_HOME/etc/hadoop目录，需要配置以下关键文件：

core-site.xml

    
        fs.defaultFS
        hdfs://localhost:9000
    

hdfs-site.xml

    
        dfs.replication
        1
    

mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

四、启动与验证

1. 格式化HDFS

hdfs namenode -format

2. 启动Hadoop服务

start-dfs.sh
start-yarn.sh

3. 验证服务状态

执行jps命令应看到以下进程：

• NameNode
• DataNode
• ResourceManager
• NodeManager
• SecondaryNameNode

4. 访问Web UI

• NameNode界面：http://服务器IP:9870
• ResourceManager界面：http://服务器IP:8088

五、常见问题解决

1. 端口冲突问题

如果发现端口被占用，可以通过修改配置文件中的端口号解决。

2. 权限不足错误

确保hadoop用户对相关目录有读写权限：

sudo chown -R hadoop:hadoop /usr/local/hadoop

3. 内存不足警告

可在hadoop-env.sh中调整JVM参数：

export HADOOP_HEAPSIZE_MAX=512m

六、进阶配置建议

• 配置SSH免密登录（集群环境必需）
• 设置多节点集群
• 配置Hadoop生态组件（如Hive、HBase等）
• 优化YARN资源分配