从零开始：Hadoop安装配置完全指南
在大数据时代，Hadoop作为分布式系统基础架构的佼佼者，已成为企业处理海量数据的首选方案。本文将手把手带您完成Hadoop的安装与配置全流程，无论您是初学者还是希望系统学习的技术人员，都能找到实用价值。
一、准备工作
1.1 系统要求
- 推荐使用Linux系统（Ubuntu/CentOS等）
- 内存建议4GB以上
- Java 8或更高版本（Hadoop 3.x需要Java 8+）
- SSH服务已安装并配置
1.2 下载Hadoop
访问Apache官网下载最新稳定版： Hadoop Releases
本文以Hadoop 3.3.4版本为例：
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz二、详细安装步骤
2.1 解压安装包
tar -xzvf hadoop-3.3.4.tar.gz
sudo mv hadoop-3.3.4 /usr/local/hadoop2.2 配置环境变量
编辑~/.bashrc文件：
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin使配置生效：
source ~/.bashrc2.3 配置SSH免密登录
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys三、核心配置文件详解
3.1 hadoop-env.sh配置
设置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd643.2 core-site.xml配置
fs.defaultFS
hdfs://localhost:9000
3.3 hdfs-site.xml配置
dfs.replication
1
dfs.namenode.name.dir
/usr/local/hadoop/data/namenode
四、启动与验证
4.1 格式化HDFS
hdfs namenode -format4.2 启动Hadoop服务
start-dfs.sh
start-yarn.sh4.3 验证服务状态
访问以下地址验证：
- NameNode Web UI: http://localhost:9870
- ResourceManager Web UI: http://localhost:8088
五、常见问题解决方案
- Java环境问题：确保JAVA_HOME配置正确
- 端口冲突：检查默认端口是否被占用
- 权限不足：使用sudo或修改目录权限
- SSH连接失败：检查ssh服务是否正常运行
通过以上步骤，您已成功搭建了一个单节点Hadoop环境。后续可以继续学习MapReduce编程、YARN资源管理等进阶内容。建议在实际生产环境中使用多节点集群配置，并根据业务需求调整参数优化性能。
如需更详细的配置说明，可参考官方文档或留言交流技术问题。