HDFS 在 Ubuntu 上的数据存储策略
一 核心机制
- 分块与副本：文件被切分为固定大小的块（默认128MB，可调），每个块默认3 副本冗余存储，保障可靠性与可用性。
- 副本放置与机架感知：通常第 1 个副本在客户端所在节点（若客户端在集群外则随机），第 2 个在不同机架，第 3 个与第 2 个同机架不同节点，以在可靠性与跨机架带宽之间取得平衡。
- 数据本地化：计算任务优先调度到数据所在节点，减少网络传输，提高吞吐。
- 块管理与恢复：DataNode 心跳与块报告机制让 NameNode 掌握块分布，失效节点上的块会被自动复制恢复冗余。
以上机制在 Ubuntu 与在其他 Linux 发行版一致，属于 HDFS 的内核行为。
二 分层存储策略
HDFS 支持按介质类型进行分层存储，常用存储类型与策略如下（策略名大小写以实际环境为准）：
| 策略 |
放置规则（n 为副本数） |
典型用途 |
| Hot（默认） |
DISK: n |
高频访问、活跃计算 |
| Warm |
DISK: 1, ARCHIVE: n-1 |
访问频率中等 |
| Cold |
ARCHIVE: n |
长期归档、极少访问 |
| All_SSD |
SSD: n |
高吞吐、低时延场景 |
| One_SSD |
SSD: 1, DISK: n-1 |
热点数据加速 |
| Lazy_Persist |
RAM_DISK: 1, DISK: n-1 |
写入加速（仅单副本有效） |
- 说明：存储类型包括 DISK、SSD、RAM_DISK、ARCHIVE；ARCHIVE 代表高密度、低成本存储，并非特定硬件介质。
- 纠删码文件建议策略：优先使用 All_SSD / Hot / Cold。
三 在 Ubuntu 上的配置与实施要点
- 启用与定义存储类型：在 hdfs-site.xml 中确保 dfs.storage.policy.enabled=true；在 DataNode 的 dfs.datanode.data.dir 为每个目录显式标注类型，例如：
- DISK：file:///grid/dn/disk0
- SSD：[SSD]file:///grid/dn/ssd0
- ARCHIVE：[ARCHIVE]file:///grid/dn/archive0
- RAM_DISK：[RAM_DISK]file:///grid/dn/ram0
未标注的目录默认类型为 DISK。
- 设置与查询策略：
- 为目录设置策略：hdfs storagepolicies -setStoragePolicy -path -policy
- 查看策略：hdfs storagepolicies -getStoragePolicy -path
- 校验与纠偏：hdfs fsck -files -blocks -locations；必要时用 hdfs mover 按策略迁移块副本。
- 异构磁盘的卷选择：
- 策略类：RoundRobinVolumeChoosingPolicy（轮询）或 AvailableSpaceVolumeChoosingPolicy（可用空间优先，推荐）。
- 关键参数：
- dfs.datanode.fsdataset.volume.choosing.policy
- dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold（默认10GB）
- dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction（默认0.75）
可用空间优先策略能缓解节点内磁盘不均衡导致的 I/O 热点。
四 冷热数据迁移与运维实践
- 迁移工具：使用 Mover 扫描并按策略迁移块副本，尽量在同一节点内移动，减少跨节点网络消耗：hdfs mover [-p <files/dirs> | -f ]。
- 小文件与压缩：大量小文件会放大 NameNode 内存压力，建议合并或归档；选用 Snappy/LZO 等压缩减少存储与网络开销。
- 块大小与副本数：根据访问模式调整 dfs.blocksize（如128MB/256MB）与 dfs.replication，在并行度、时延与成本间平衡。
- 监控与调优：结合 Ganglia/Prometheus 等监控关键指标，持续评估本地化率、磁盘利用率与网络吞吐并迭代参数。