CentOS 上 HDFS 配置文件的查看位置与方法
一、常见配置文件与标准路径
配置文件集中在 Hadoop 的配置目录,常见路径如下(不同安装方式或发行版可能略有差异):
| 文件 | 典型路径1 | 典型路径2 | 作用简述 |
|---|---|---|---|
| core-site.xml | /etc/hadoop/core-site.xml | $HADOOP_HOME/etc/hadoop/core-site.xml | Hadoop 核心参数(如默认文件系统 fs.defaultFS) |
| hdfs-site.xml | /etc/hadoop/hdfs-site.xml | $HADOOP_HOME/etc/hadoop/hdfs-site.xml | HDFS 参数(如副本数 dfs.replication、NameNode/DataNode 目录) |
| yarn-site.xml | /etc/hadoop/yarn-site.xml | $HADOOP_HOME/etc/hadoop/yarn-site.xml | YARN 资源管理相关 |
| mapred-site.xml | /etc/hadoop/mapred-site.xml | $HADOOP_HOME/etc/hadoop/mapred-site.xml | MapReduce 框架相关 |
| hadoop-env.sh | /etc/hadoop/hadoop-env.sh | $HADOOP_HOME/etc/hadoop/hadoop-env.sh | Hadoop 运行环境变量(如 JAVA_HOME、临时目录) |
| slaves / workers | /etc/hadoop/slaves 或 /usr/local/hadoop/etc/slaves | $HADOOP_HOME/etc/hadoop/workers | 节点清单(DataNode/NodeManager 主机名) |
说明:部分环境使用 /etc/hadoop/conf 作为配置目录的符号链接或实际目录;若设置了 $HADOOP_HOME,优先到 $HADOOP_HOME/etc/hadoop 下查看。
二、如何快速定位你的配置文件目录
echo $HADOOP_HOMEls /etc/hadoop/conf /etc/hadoop $HADOOP_HOME/etc/hadoop 2>/dev/nullfind / -type d -name "hadoop" 2>/dev/null | grep -i etcps -ef | grep hadoop | grep -E "Dhadoop\.conf\.dir=|etc/hadoop" | head -n1三、查看与验证配置的常用命令
cat /etc/hadoop/core-site.xmlcat /etc/hadoop/hdfs-site.xmlhdfs dfsadmin -reporthdfs dfs -ls /四、多节点集群的注意事项
scp /etc/hadoop/conf/* node2:/etc/hadoop/conf/start-dfs.sh/stop-dfs.sh 或按服务重启(如 systemctl restart hadoop-hdfs-namenode 等,具体以你的部署为准)。tar -czvf hadoop-config-backup-$(date +%Y%m%d%H%M%S).tar.gz /etc/hadoop/conf