怎样修改Ubuntu HDFS配置参数 - 问答

Ubuntu 修改 HDFS 配置参数的标准流程

一准备与定位配置文件

确认 Hadoop 安装目录：执行 echo $HADOOP_HOME，进入配置目录 cd $HADOOP_HOME/etc/hadoop。
关键配置文件与作用：
- core-site.xml：HDFS 的默认文件系统 fs.defaultFS、临时目录 hadoop.tmp.dir 等核心参数。
- hdfs-site.xml：HDFS 专属参数，如副本数 dfs.replication、NameNode 数据目录 dfs.namenode.name.dir、DataNode 数据目录 dfs.datanode.data.dir 等。
- hadoop-env.sh：运行时环境变量（如 JAVA_HOME、内存等）。
修改前建议备份：cp core-site.xml core-site.xml.bak-$(date +%F)；cp hdfs-site.xml hdfs-site.xml.bak-$(date +%F)。

二修改配置文件的步骤

使用编辑器打开文件：nano $HADOOP_HOME/etc/hadoop/core-site.xml 或 nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml。

在 <configuration> ... </configuration> 内新增或修改 <property> 节点，例如：

修改默认文件系统与临时目录（core-site.xml）

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/tmp</value>
</property>

修改副本数与数据目录（hdfs-site.xml）

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:///data/hadoop/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:///data/hadoop/datanode</value>
</property>

保存文件并检查语法：hdfs version 无报错通常说明 XML 基本可用（更严谨可用 xmllint --noout $HADOOP_HOME/etc/hadoop/*.xml）。

三使配置生效与验证

重启 HDFS 服务（推荐先停后启）：

$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/start-dfs.sh

如修改了 dfs.namenode.name.dir 等涉及元数据或数据目录的参数，需先确保目录存在并赋权，然后重新格式化 NameNode（仅限首次或明确需要重建元数据的情况）：
```
sudo mkdir -p /data/hadoop/namenode /data/hadoop/datanode
sudo chown -R $(whoami):$(whoami) /data/hadoop
hdfs namenode -format
start-dfs.sh
```
验证：
- 进程检查：jps 应看到 NameNode、DataNode（及 SecondaryNameNode）。
- Web 界面：访问 http://:9870（Hadoop 3.x）或 http://:50070（Hadoop 2.x）查看 HDFS 信息页。
- 命令行：hdfs dfsadmin -report、hdfs dfs -ls / 检查集群与目录状态。

四常见场景与参数示例

调整副本数（hdfs-site.xml）：dfs.replication 默认为 3，单节点或测试环境可设为 1。
更换数据目录（hdfs-site.xml）：将 dfs.namenode.name.dir、dfs.datanode.data.dir 指向新磁盘或新路径，注意目录存在与权限正确。
调整 I/O 缓冲（core-site.xml）：io.file.buffer.size 常用 131072（128 KB），可按磁盘与负载调优。
修改 HDFS 访问地址（core-site.xml）：fs.defaultFS 设置为 hdfs://<namenode-host>:9000，确保与集群网络与防火墙策略一致。

五注意事项与排错

修改配置通常需要重启相应服务；涉及 NameNode 元数据目录 的变更，务必先备份并谨慎操作，格式化会清空元数据。
目录与权限：确保新目录存在并对运行 Hadoop 的用户可写（如 chown -R $(whoami):$(whoami) <dir>）。
防火墙与端口：开放 9000（RPC）、9870/50070（NameNode Web）等端口，或在内网环境关闭防火墙测试。
环境变量：若 start-dfs.sh 找不到命令，检查 HADOOP_HOME 与 PATH 是否正确（echo $HADOOP_HOME、which start-dfs.sh）。
版本差异：Hadoop 3.x 的 NameNode Web 默认端口为 9870，Hadoop 2.x 为 50070，访问时请对应版本。

0 赞

0 踩