从零开始：在Linux云服务器上搭建Hadoop集群的完整指南

在大数据时代，Hadoop作为分布式计算框架的标杆，已成为企业处理海量数据的首选方案。本文将详细介绍如何在Linux云服务器环境下，从零开始搭建一个功能完整的Hadoop集群。

准备工作

云服务器选择：建议至少3台配置相同的云服务器（1个NameNode，2个DataNode）
操作系统：Ubuntu 20.04 LTS或CentOS 8
硬件配置：每台服务器建议4核CPU，8GB内存，100GB存储
软件要求：Java 8或以上版本

详细搭建步骤

1. 服务器基础配置

首先确保所有节点可以互相通信：

# 修改主机名
sudo hostnamectl set-hostname namenode
sudo hostnamectl set-hostname datanode1
sudo hostnamectl set-hostname datanode2

# 配置hosts文件
echo "192.168.1.100 namenode" | sudo tee -a /etc/hosts
echo "192.168.1.101 datanode1" | sudo tee -a /etc/hosts
echo "192.168.1.102 datanode2" | sudo tee -a /etc/hosts

2. Java环境安装

在所有节点上安装Java：

sudo apt update
sudo apt install openjdk-8-jdk -y
java -version

3. 创建Hadoop专用用户

sudo adduser hadoop
sudo usermod -aG sudo hadoop

4. 配置SSH免密登录

在NameNode节点上生成密钥并分发：

su - hadoop
ssh-keygen -t rsa
ssh-copy-id hadoop@namenode
ssh-copy-id hadoop@datanode1
ssh-copy-id hadoop@datanode2

5. Hadoop安装与配置

下载并配置Hadoop（以3.3.4版本为例）：

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz
mv hadoop-3.3.4 /usr/local/hadoop

关键配置文件修改：

core-site.xml:


    
        fs.defaultFS
        hdfs://namenode:9000

hdfs-site.xml:


    
        dfs.replication
        2

6. 启动Hadoop集群

hdfs namenode -format
start-dfs.sh
start-yarn.sh

验证集群状态

通过以下命令检查集群是否正常运行：

jps  # 查看Java进程
hdfs dfsadmin -report  # 查看存储报告
http://namenode:9870  # Web界面访问

常见问题排查

SSH连接问题：检查防火墙设置和sshd服务状态
Java版本不兼容：确保使用Java 8
权限问题：确保Hadoop用户对所有相关目录有读写权限

总结

本文详细介绍了在Linux云服务器上搭建Hadoop集群的全过程。实际生产环境中，还需要考虑安全设置、性能调优和监控配置等因素。建议定期备份NameNode元数据，并监控各节点资源使用情况。