Ubuntu Hadoop 资源管理怎样配置

Ubuntu Hadoop资源管理主要通过YARN配置实现，以下是关键步骤（基于Hadoop 3.x版本）：

1. 安装JDK：确保系统已安装Java环境，配置JAVA_HOME环境变量。
2. 配置Hadoop环境变量：在~/.bashrc中添加HADOOP_HOME、PATH等变量，使配置生效。
3. 修改核心配置文件
   • core-site.xml：设置HDFS地址（如fs.defaultFS=hdfs://localhost:9000）。
   • hdfs-site.xml：配置NameNode和DataNode数据存储路径、副本数（伪分布式设为1）。
   • mapred-site.xml：指定资源管理框架为YARN（mapreduce.framework.name=yarn）。
   • yarn-site.xml：
     • 启用MapReduce Shuffle服务（yarn.nodemanager.aux-services=mapreduce_shuffle）。
     • 设置ResourceManager主机名（伪分布式用localhost）。
4. 启动资源管理：
   • 格式化HDFS：hdfs namenode -format（首次启动需执行）。
   • 启动YARN：start-yarn.sh，通过jps查看ResourceManager和NodeManager进程是否正常。
5. 验证资源管理：
   • 访问YARN Web界面（http://localhost:8088），查看集群资源使用情况。

说明：伪分布式模式下，所有服务运行在同一节点，适合测试环境；分布式环境需配置多节点主机名、SSH免密登录及对应配置文件。

参考资料：