Ubuntu HDFS如何扩展存储容量 - 问答

Ubuntu 环境下扩展 HDFS 存储容量的实用方案

一、扩容思路总览

在 HDFS 层面，容量由 DataNode 数量 × 单节点可用磁盘空间 × 副本数 决定。常见做法有两类：
- 纵向扩展：为现有 DataNode 增加磁盘或扩大现有分区，并把新目录加入 dfs.datanode.data.dir，让单个节点能装更多数据。
- 横向扩展：新增 DataNode 节点，直接提升集群总容量与吞吐。
在 Linux 层面，优先使用 LVM 管理磁盘，便于在线扩容；若不便使用 LVM，也可新增分区并挂载为新目录供 HDFS 使用。
容量增加后，使用 HDFS Balancer 将数据在各节点/各磁盘间均衡，避免热点与不均衡。

二、纵向扩展现有节点加盘或扩盘

步骤
1. 检查现状
  - 查看节点容量与健康：hdfs dfsadmin -report
  - 查看磁盘与挂载：df -hT
2. 准备新磁盘（两种常见方式）
  - 新增磁盘并分区/格式化/挂载（示例）：
    - 分区：fdisk /dev/sdb（n 新建分区 → w 保存）
    - 格式化：mkfs.xfs /dev/sdb1（或 mkfs.ext4）
    - 挂载：mkdir -p /data2 && mount /dev/sdb1 /data2
    - 开机自动挂载：在 /etc/fstab 增加一行
      - XFS：/dev/sdb1 /data2 xfs defaults 0 0
      - EXT4：/dev/sdb1 /data2 ext4 defaults 0 0
  - 使用 LVM（推荐，便于后续在线扩容）：
    - 初始化物理卷：pvcreate /dev/sdb
    - 加入卷组：vgextend vg_data /dev/sdb
    - 扩展逻辑卷：lvextend -l +100%FREE /dev/vg_data/lv_hdfs
    - 在线扩容文件系统（XFS）：xfs_growfs /data1；（EXT4）：resize2fs /dev/vg_data/lv_hdfs
3. 为 HDFS 准备目录并赋权
  - mkdir -p /data2/hadoop && chown -R hdfs:hadoop /data2/hadoop
4. 配置 DataNode 使用新目录
  - 编辑 $HADOOP_HOME/etc/hadoop/hdfs-site.xml，在 dfs.datanode.data.dir 中追加新目录（逗号分隔）：
    - 示例：
```
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:///data1/hadoop,file:///data2/hadoop</value>
</property>
```
5. 滚动重启该 DataNode（避免全集群中断）
  - 建议逐台执行：$HADOOP_HOME/sbin/hadoop-daemon.sh stop datanode → $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
6. 均衡数据
  - 启动均衡器：$HADOOP_HOME/sbin/start-balancer.sh（或 hdfs balancer）
重要说明
- HDFS 不会把多块磁盘的空间“合并”成一个卷，多盘是通过 多个数据目录 并行使用的；单盘满并不会自动把块迁移到新盘，需要靠 Balancer 或手工迁移目录后重启 DataNode。
- 为避免单盘被写满影响系统，可设置磁盘预留：
```
<property>
  <name>dfs.datanode.du.reserved</name>
  <value>32212254720</value> 
</property>
```
- 扩容后可用 hdfs dfsadmin -report 与 NameNode Web UI（50070） 验证容量变化。

三、横向扩展新增 DataNode 节点

步骤
1. 准备新机器（Ubuntu），安装与主集群一致版本的 Hadoop，配置 JAVA_HOME/HADOOP_HOME，打通 SSH 免密。
2. 配置 core-site.xml 与 hdfs-site.xml（与主集群一致，尤其是 fs.defaultFS 与副本因子）。
3. 启动 DataNode：$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
4. 在 NameNode 上验证：hdfs dfsadmin -report，应能看到新节点与容量加入。
5. 运行 Balancer 使数据分布均衡。
适用场景
- 需要快速提升集群总容量与写入吞吐。
- 与纵向扩展结合使用效果更佳（节点数↑ + 单节点容量↑）。

四、常见问题与注意事项

处于 Safe mode 且无法退出，常见原因是 磁盘空间不足。应先扩容磁盘或清理空间，再退出安全模式：hadoop dfsadmin -safemode leave。
扩容后老盘仍先被写满：HDFS 不会自动把块从旧盘迁到新盘，需通过 Balancer 或迁移 dfs.datanode.data.dir 下的数据后重启 DataNode 来均衡。
多盘不等于“合并”：HDFS 通过 多目录并行存储 提升容量与吞吐，单盘满不会自动溢出到其它盘。
预留系统盘空间：设置 dfs.datanode.du.reserved，避免 DataNode 写满系统盘导致异常。
变更尽量滚动进行：逐台重启 DataNode，并在变更窗口内观察 Balancer 进度与集群健康。

0 赞

0 踩