Ubuntu 环境下优化 HDFS 存储空间的实用方案
一 容量盘点与紧急处置
- 快速盘点容量与不均衡情况：
- 查看整体使用：hdfs dfs -df -h
- 定位大目录/文件：hdfs dfs -du -h -x /
- 查看节点磁盘与健康：hdfs dfsadmin -report
- 清理可回收空间：
- 清空回收站（立即释放）：hdfs dfs -expunge
- 直接删除（跳过回收站，谨慎）：hdfs dfs -rm -r -skipTrash
- 处理 NameNode 安全模式（磁盘满常触发）：
- 检查状态：hdfs dfsadmin -safemode get
- 临时退出（治标）：hdfs dfsadmin -safemode leave
- 根本解决仍是释放足够空间，否则会再次进入安全模式。
二 存储策略优化
- 调整副本因子（权衡可靠性与容量）：
- 场景：温/冷数据、非关键日志、可重新生成的数据
- 做法：将 dfs.replication 从 3 降至 2 或更低（需评估容错要求）
- 启用纠删码（EC）替代三副本（容量收益显著）：
- 适用：归档、备份、近线数据；不建议用于高频读写热数据
- 优点：相比三副本可显著节省存储空间；代价是编解码计算与重建时延
- 合理设置块大小（减少小文件元数据与空间浪费）：
- 结合业务常见文件大小与磁盘带宽选择 dfs.blocksize（如 128MB/256MB）
- 大文件适当增大块大小，减少块数量与元数据压力。
三 小文件治理与数据布局
- 源头合并：在采集/写入侧将小文件合并为大文件（如按时间/业务键合并）
- HAR 归档：将大量小文件打包为 HAR，降低 NameNode 元数据占用
- 示例：hadoop archive -archiveName myhar.har -p /user/ubuntu /user/my
- 计算侧优化：使用 CombineTextInputFormat 减少切片与 MapTask 数量
- 存储布局：多磁盘多目录分布（dfs.datanode.data.dir），提升 I/O 并发与容量利用。
四 压缩与文件格式
- 选择高效压缩（在 CPU 与压缩比间平衡）：
- Snappy：压缩/解压快，适合高吞吐场景
- Gzip：压缩比高，适合冷数据与归档
- LZO/Bzip2：按场景取舍（LZO 需索引支持，Bzip2 压缩比高但慢）
- 列式格式与压缩协同：
- ORC/Parquet 结合合适的压缩（如 Snappy/Gzip），通常获得更高压缩比与更好查询性能。
五 运维与系统层优化
- 定期运行 Balancer（均衡节点磁盘使用）：
- 先提高带宽（如 50MB/s），再执行平衡，加速收敛
- 预留磁盘空间与回收站策略：
- 设置 dfs.datanode.du.reserved，为系统与其他进程预留空间
- 合理设置 fs.trash.interval（如 4–7 天），既防误删又避免长期占用
- 操作系统与文件系统：
- 使用 XFS/EXT4，挂载加 noatime
- 适度增大预读：blockdev --setra 1024/2048（顺序读受益）
- 存储节点优先 JBOD 而非 RAID/LVM，减少空间浪费与扩容复杂度
- 监控与容量规划：
- 建立容量阈值告警，定期清理临时/过期数据，结合业务生命周期策略（如 Hive/HBase TTL）自动过期数据。