Ubuntu 中 HDFS 配置文件位置与快速定位
默认配置目录
- 在 Ubuntu 上，Hadoop（含 HDFS）的配置文件默认位于 $HADOOP_HOME/etc/hadoop/。常见文件包括：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hadoop-env.sh、workers。若未设置 HADOOP_HOME，常见安装路径如 /usr/local/hadoop 或 /opt/hadoop，则配置目录对应为 /usr/local/hadoop/etc/hadoop/ 或 /opt/hadoop/etc/hadoop/。
如何快速找到你的配置目录
- 查看 Hadoop 安装路径：运行命令 echo $HADOOP_HOME；若为空，可检查常见目录（如 /usr/local/hadoop、/opt/hadoop）是否存在。
- 进入配置目录：例如 cd $HADOOP_HOME/etc/hadoop。
- 列出 HDFS 相关文件：例如 ls | grep -E ‘core-site|hdfs-site|hadoop-env|workers’。
- 若你是通过包管理器安装（如 apt/yum 的 Hadoop 发行版），配置文件可能位于 /etc/hadoop/；可用 find /etc -name “core-site.xml” -o -name “hdfs-site.xml” 全局搜索。
与 HDFS 相关的关键文件与用途
- core-site.xml：HDFS 入口与基础参数，如 fs.defaultFS（默认文件系统 URI）。
- hdfs-site.xml：HDFS 专属参数，如 dfs.replication（副本数）、dfs.namenode.name.dir（NameNode 元数据目录）、dfs.datanode.data.dir（DataNode 数据目录）。
- hadoop-env.sh：Hadoop 环境变量（如 JAVA_HOME 等）。
- workers（或旧版 slaves）：节点清单，用于启动 DataNode/NodeManager。
- 提示：只读的参考配置为 hdfs-default.xml（位于 Hadoop 发行包的 share 目录），实际生效以 hdfs-site.xml 为准。
修改配置后的生效方式
- 使环境变量生效：执行 source ~/.bashrc 或 source /etc/profile（取决于你修改的文件）。
- 重启 HDFS 服务：执行 $HADOOP_HOME/sbin/stop-dfs.sh 与 $HADOOP_HOME/sbin/start-dfs.sh；如使用 YARN，可相应执行 start-yarn.sh/stop-yarn.sh。
- 验证：使用 jps 查看 NameNode/DataNode/SecondaryNameNode 进程，或访问 NameNode Web UI（常见端口 50070 或 9870） 确认状态。