Linux下Hadoop数据存储策略概览
在Linux环境中，Hadoop以HDFS为核心实现分布式存储，策略涵盖数据块与副本放置、存储类型与分层策略、冷热数据迁移以及数据本地性优化，从而在性能与成本之间取得平衡。
核心机制
- 数据块与副本机制：文件被切分为固定大小的块（默认128MB，可调），每个块默认3个副本，分布在不同DataNode上，保障可靠性与可用性。
- 写入与读取流程：客户端将文件切块并向NameNode申请存储；由NameNode指示DataNode写入；读取时客户端依据NameNode返回的块位置信息直接从相应DataNode读取。
- NameNode与Secondary NameNode：NameNode管理元数据（文件—块映射等）；Secondary NameNode定期合并编辑日志、生成检查点，辅助故障恢复（并非热备）。
存储类型与分层策略
- 存储类型（Storage Types）：支持DISK（普通盘）、SSD（固态盘）、RAM_DISK（内存盘）、ARCHIVE（高密度归档，成本更低）。
- 常见存储策略（Storage Policies）：
- HOT：热数据，读写频繁，全部存放在性能较好的介质（如SSD/DISK），副本策略为主。
- WARM：温数据，部分在DISK、部分在ARCHIVE，实现分层过渡。
- COLD：冷数据，主要放在ARCHIVE，适合长期留存、极少访问的数据。
- ALL_SSD：全部数据放在SSD，追求极致性能。
- ONE_SSD：首个副本在SSD，其余在DISK，兼顾性能与成本。
- LAZY_PERSIST：优先写入内存（RAM_DISK）并异步落盘，适合短生命周期/中间结果数据。
- 策略迁移与纠删码：可用Mover工具按策略迁移数据；对冷数据可结合**纠删码（EC）**降低冗余开销（相比三副本可显著节省存储）。
数据本地性与副本放置
- 本地性级别：优先节点本地（数据与计算同机），其次机架本地，最后跨机架；本地性越高，网络开销越小、性能越好。
- 调度与布局：Hadoop（YARN/MapReduce）调度器会优先将任务调度到数据所在节点；合理的拓扑与块布局能显著提升本地性比例。
Linux系统层面的配置与运维要点
- 多磁盘与目录：为DataNode配置多个数据目录（dfs.datanode.data.dir），提升IO吞吐与容量；为NameNode配置多目录（dfs.namenode.name.dir）增强元数据可靠性。
- 磁盘预留与均衡：通过dfs.datanode.du.reserved为系统与非HDFS数据预留空间；使用HDFS磁盘均衡工具避免单盘打满、数据倾斜。
- 存储策略落地：按目录/路径设置存储策略（如HOT/WARM/COLD/SSD等），并用Mover定期迁移以匹配访问热度与成本目标。