Ubuntu HDFS容量如何扩展

Ubuntu下扩展HDFS容量主要有**横向扩容（增加节点）和纵向扩容（提升单机硬件）**两种方式，步骤如下：

一、横向扩容（推荐，线性增加容量）

1. 准备新节点

• 确保新节点安装与集群一致的Hadoop版本，配置好JAVA_HOME、HADOOP_HOME环境变量。
• 在新节点的/etc/hosts中添加集群所有节点的IP映射，确保网络互通。

2. 配置新节点

• 修改hdfs-site.xml：添加新节点的存储路径（如dfs.datanode.data.dir），格式为逗号分隔的目录列表。
• 修改core-site.xml：确保fs.defaultFS指向集群的NameNode地址。

3. 启动新节点

• 在新节点执行start-dfs.sh启动DataNode服务，通过hdfs dfsadmin -report验证节点是否加入集群。

4. 数据再平衡

• 执行hdfs balancer命令，将数据均匀分布到新节点，避免单节点负载过高。

二、纵向扩容（提升单机存储）

1. 增加硬盘

• 在现有节点上挂载新硬盘，格式化并挂载到指定目录（如/data/newdisk），修改/etc/fstab实现开机自动挂载。

2. 配置HDFS识别新存储

• 在hdfs-site.xml中通过dfs.datanode.data.dir添加新硬盘路径（需与现有路径用逗号分隔）。
• 重启DataNode服务使配置生效。

注意事项

• 数据安全：操作前备份重要数据，避免格式化导致数据丢失。
• 机架感知：确保新节点与现有节点分布在不同机架，避免单点故障。
• 性能监控：扩容后通过hdfs dfsadmin -report和集群监控工具（如Ganglia）观察节点状态和负载。

参考来源：