在CentOS上实现HDFS的资源调度主要通过YARN（Yet Another Resource Negotiator）来完成。YARN是Hadoop的资源管理和调度系统，负责为运行在Hadoop集群上的应用程序提供资源管理和调度服务。以下是HDFS资源调度的基本步骤和策略：
1. 环境准备
- 安装JDK：确保系统上安装了JDK 8，因为Hadoop 2.x系列要求必须使用JDK 8。
- 配置SSH免密登录：在所有节点之间配置SSH免密登录，以便于节点间通信。
2. Hadoop安装
- 下载Hadoop：从Apache Hadoop官网下载对应版本的Hadoop安装包。
- 解压Hadoop：将下载的Hadoop压缩包解压到指定目录。
- 配置环境变量：编辑
/etc/profile 文件，添加Hadoop的路径和环境变量。
3. HDFS配置
- 配置
core-site.xml：设置HDFS的默认文件系统和默认名称节点地址。
- 配置
hdfs-site.xml：设置数据块大小、副本数、数据节点目录等。
- 配置
mapred-site.xml 和 yarn-site.xml：配置MapReduce和YARN的相关参数。
4. 资源调度方案
- 配置YARN：在
yarn-site.xml 中配置ResourceManager和NodeManager的相关参数，如资源池、调度策略等。
- 高可用性配置：为了提高HDFS的高可用性，可以配置Secondary NameNode和ZooKeeper。Secondary NameNode用于定期合并NameNode的编辑日志和文件系统镜像，而ZooKeeper则用于监控NameNode的状态并进行故障转移。
5. 启动HDFS
- 格式化NameNode：在启动HDFS之前，需要格式化NameNode。
- 启动HDFS：使用
start-dfs.sh 脚本启动HDFS集群。
6. 监控和管理
- 使用HDFS命令行工具：可以使用
hdfs dfs 命令来列出目录、上传下载文件、删除文件等。
- 监控集群状态：使用
jps 命令查看Hadoop集群中各个进程的状态，使用Web界面查看HDFS和YARN的详细状态。
常见的调度策略
- FIFO（先进先出）：按照作业提交的顺序执行任务。
- Capacity Scheduler：为不同的队列分配固定比例的资源，保证资源的合理利用和作业的公平执行。
- Fair Scheduler：根据队列的资源需求和作业的历史资源使用情况进行资源分配，更加公平。
调整资源分配
- 修改HDFS配置文件：可以通过修改
hdfs-site.xml 文件来调整数据块大小、副本数量等关键配置参数。
- 调整内存配置：增加NameNode和DataNode的内存容量，可以通过修改
hadoop-env.sh 文件来调整Java堆内存大小。
- 使用Diskbalancer工具：用于在DataNode内部均衡数据分布。
以上步骤提供了一个基本的CentOS上HDFS资源调度方案的框架。具体配置可能需要根据实际的集群规模和环境进行调整。