在CentOS上配置Hadoop分布式文件系统(HDFS)时,需要修改以下关键配置文件:
core-site.xml:
fs.defaultFS
:指定HDFS的默认文件系统地址,例如 hdfs://localhost:9000
。hadoop.tmp.dir
:指定Hadoop临时文件的存储目录。hadoop.proxyuser.root.hosts
和 hadoop.proxyuser.root.groups
:配置root用户的代理用户。hdfs-site.xml:
dfs.http.address
:指定NameNode的HTTP地址。dfs.namenode.secondary.http-address
:指定Secondary NameNode的HTTP地址。mapreduce.jobhistory.address
和 mapreduce.jobhistory.webapp.address
:指定MapReduce作业历史的地址和Web界面地址。mapred-site.xml:
mapreduce.framework.name
:指定MapReduce框架的名称,通常为 yarn
。yarn-site.xml:
yarn.resourcemanager.address
:指定ResourceManager的地址。yarn.resourcemanager.scheduler.address
:指定ResourceManager的调度器地址。yarn.resourcemanager.resource-tracker.address
:指定ResourceManager的资源跟踪器地址。yarn.nodemanager.aux-services
和 yarn.nodemanager.aux-services.mapreduce_shuffle.class
:指定NodeManager的辅助服务。yarn.nodemanager.vmem-check-enabled
和 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage
:配置NodeManager的内存和磁盘检查。在修改这些配置文件后,通常需要执行以下步骤:
hdfs namenode -format
./sbin/start-dfs.sh
./sbin/stop-dfs.sh
请注意,具体的配置步骤和文件路径可能会根据Hadoop版本和具体需求有所不同。建议参考官方文档或相关教程以确保配置的正确性。