Linux云服务器上Hadoop安装与配置完整指南
在大数据时代，Hadoop作为分布式计算框架的核心组件，已成为企业数据处理的标配。本文将手把手教您在Linux云服务器上完成Hadoop从零开始的部署过程。
一、环境准备
- 选择云服务器配置：建议至少2核4G配置，存储空间根据数据量决定
- 操作系统选择：推荐使用CentOS 7或Ubuntu 18.04 LTS
- 网络配置：确保服务器间内网互通，设置好SSH免密登录
二、基础环境配置
1. Java环境安装
# 安装OpenJDK 8
sudo yum install java-1.8.0-openjdk-devel
# 配置环境变量
echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk' >> ~/.bashrc
source ~/.bashrc2. 创建专用用户
sudo useradd hadoop
sudo passwd hadoop
sudo usermod -aG wheel hadoop三、Hadoop安装步骤
1. 下载Hadoop
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz
sudo mv hadoop-3.3.1 /usr/local/hadoop2. 配置环境变量
echo 'export HADOOP_HOME=/usr/local/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc四、核心配置文件修改
1. hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/usr/local/hadoop2. core-site.xml
fs.defaultFS
hdfs://your_server_ip:9000
3. hdfs-site.xml
dfs.replication
1
五、启动与验证
1. 格式化NameNode
hdfs namenode -format2. 启动HDFS
start-dfs.sh3. 验证服务
jps
# 应看到NameNode、DataNode等进程六、常见问题解决
- 端口冲突：检查9000和50070端口是否被占用
- 权限问题：确保所有文件和目录属于hadoop用户
- 内存不足：调整hadoop-env.sh中的HADOOP_HEAPSIZE参数
通过以上步骤，您已成功在Linux云服务器上搭建了Hadoop单机环境。后续可以根据业务需求扩展为集群模式，并配置YARN等组件实现完整的Hadoop生态系统。建议定期备份配置文件，并关注官方安全公告及时更新版本。