在 Ubuntu 上扩展 HDFS 容量的可行路径
- 横向扩容：为集群新增 DataNode 节点，容量近似线性增长，适合长期规模化扩容。
- 纵向扩容：在现有节点新增 磁盘/扩大虚拟磁盘，并更新 DataNode 数据目录，快速提升单节点容量。
- 操作前建议：执行 hdfs dfsadmin -report 查看节点与磁盘使用，做好关键配置与数据的备份，变更尽量在维护窗口进行。
方案一 横向扩容 新增 DataNode
- 准备新节点
- 安装与主集群相同版本的 Hadoop，配置 JAVA_HOME、HADOOP_HOME，确保网络与主机名解析正常。
- 配置集群
- 在 workers（或 slaves）文件中加入新节点主机名，使集群知晓新节点。
- 如需，调整 hdfs-site.xml 中的副本数（如 dfs.replication=3）与必要的连通性参数（如 dfs.namenode.datanode.registration.ip-hostname-check=false）。
- 启动与注册
- 在新节点启动 DataNode（如执行 hdfs --daemon start datanode 或相应脚本）。
- 验证与均衡
- 在 NameNode 执行 hdfs dfsadmin -report，确认新节点已加入且容量可见。
- 运行 hdfs balancer 将数据均匀分散到新节点，避免热点。
- 提示
- 新增节点会参与副本存放，集群总可用容量随节点数近似线性增加（受副本因子影响）。
方案二 纵向扩容 现有节点新增磁盘或扩大虚拟盘
- 扩展虚拟磁盘（虚拟机场景）
- 关闭虚拟机，在虚拟化平台将虚拟磁盘容量调大；启动后使用 gparted 或 fdisk 扩展系统分区与文件系统，确保 Linux 层识别到新增空间。
- 识别并挂载新磁盘（示例为 /dev/sdb）
- 分区（可选）：fdisk /dev/sdb → 新建分区（如 /dev/sdb1）。
- 格式化：mkfs.xfs /dev/sdb1（或 mkfs.ext4）。
- 挂载：mkdir -p /newdisk；mount /dev/sdb1 /newdisk；写入 /etc/fstab 实现开机自动挂载。
- 配置 HDFS 使用新磁盘
- 在 hdfs-site.xml 的 dfs.datanode.data.dir 中追加新目录：
- 示例：
- dfs.datanode.data.dir${hadoop.tmp.dir}/dfs/data,/newdisk
- 重启 DataNode（集群环境仅重启该节点）：stop-dfs.sh/start-dfs.sh 或 hdfs --daemon stop/start datanode。
- 验证
- 通过 HDFS Web UI 或 hdfs dfsadmin -report 查看该 DataNode 的存储目录与容量是否已增加。
扩容后的验证与优化
- 容量与均衡
- 使用 hdfs dfsadmin -report 检查 Configured Capacity、DFS Used、Remaining 是否符合预期。
- 运行 hdfs balancer 重新均衡块分布，避免新旧磁盘/节点间数据倾斜。
- 参数与性能
- 结合业务与硬件，适当调整 dfs.blocksize、dfs.replication、NameNode/DataNode 堆内存 等参数，必要时使用 SSD、优化 网络 以提升吞吐与稳定性。
常见陷阱与处理
- 不要在新盘上执行 hdfs namenode -format（该操作会清空 NameNode 元数据，仅在初始化时执行一次）。
- 扩容后若 NameNode 因可用空间过低进入 Safe Mode，需先释放或扩展空间，再让其自动退出；强制离开安全模式在容量不足时会立即返回安全模式。
- 多磁盘场景下，确保 dfs.datanode.data.dir 包含所有有效数据目录；目录无效会导致 DataNode 启动异常或容量不生效。