Ubuntu 修改 HDFS 配置参数的标准流程
一 准备与定位配置文件
echo $HADOOP_HOME,进入配置目录 cd $HADOOP_HOME/etc/hadoop。cp core-site.xml core-site.xml.bak-$(date +%F);cp hdfs-site.xml hdfs-site.xml.bak-$(date +%F)。二 修改配置文件的步骤
nano $HADOOP_HOME/etc/hadoop/core-site.xml 或 nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml。<configuration> ... </configuration> 内新增或修改 <property> 节点,例如:
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///data/hadoop/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///data/hadoop/datanode</value>
</property>
hdfs version 无报错通常说明 XML 基本可用(更严谨可用 xmllint --noout $HADOOP_HOME/etc/hadoop/*.xml)。三 使配置生效与验证
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/start-dfs.sh
sudo mkdir -p /data/hadoop/namenode /data/hadoop/datanode
sudo chown -R $(whoami):$(whoami) /data/hadoop
hdfs namenode -format
start-dfs.sh
jps 应看到 NameNode、DataNode(及 SecondaryNameNode)。hdfs dfsadmin -report、hdfs dfs -ls / 检查集群与目录状态。四 常见场景与参数示例
dfs.replication 默认为 3,单节点或测试环境可设为 1。io.file.buffer.size 常用 131072(128 KB),可按磁盘与负载调优。fs.defaultFS 设置为 hdfs://<namenode-host>:9000,确保与集群网络与防火墙策略一致。五 注意事项与排错
chown -R $(whoami):$(whoami) <dir>)。start-dfs.sh 找不到命令,检查 HADOOP_HOME 与 PATH 是否正确(echo $HADOOP_HOME、which start-dfs.sh)。