CentOS上Hadoop数据存储方式概览
在CentOS环境中，Hadoop的数据存储可从两个维度理解：一是按运行模式划分（本地、伪分布、完全分布），二是按HDFS的存储策略与介质划分（异构存储、存储策略、副本机制）。HDFS以主从架构（NameNode/DataNode）为基础，将文件切分为块（Block）并进行多副本冗余存储，默认块大小为128MB或256MB，默认副本数为3，并通过机架感知提升可靠性与读写性能。
运行模式对应的数据存储形态
| 运行模式 |
存储位置与形态 |
典型用途与特点 |
| 本地模式（Local Mode） |
数据直接写入本地文件系统，不启动HDFS守护进程，所有组件运行在单个JVM |
适合开发/调试，不涉及分布式存储与副本容错 |
| 伪分布模式（Pseudo-Distributed） |
在单节点上模拟HDFS，启用NameNode/DataNode等守护进程，数据在本机多目录/多磁盘分布，副本受单机限制 |
便于学习/功能验证，接近分布式语义但不具备横向扩展能力 |
| 完全分布模式（Fully-Distributed） |
多节点集群，数据以块分布到各DataNode，跨节点多副本与机架感知容错 |
面向生产环境，具备高可用与线性扩展能力 |
| 上述模式差异与适用场景，适用于在CentOS上部署与验证Hadoop时的选择与对比。 |
|
|
HDFS的存储策略与介质选择
- 异构存储类型：支持DISK、SSD、RAM_DISK、ARCHIVE，可按性能/成本将不同目录标注为不同介质类型，实现分层存储。
- 存储策略（Storage Policy）：提供HOT（默认）/COLD/WARM/ALL_SSD/ONE_SSD/LAZY_PERSIST等策略，按冷热分层、介质偏好与持久化需求为目录/文件指定生命周期与放置规则。
- 配置与启用要点：
- 开启策略：在hdfs-site.xml中设置dfs.storage.policy.enabled=true；
- 指定介质路径：在dfs.datanode.data.dir中以“[TYPE]file:///path”形式标注目录与类型，例如：
[DISK]file:///grid/dn/disk0,[SSD]file:///grid/dn/ssd0,[ARCHIVE]file:///grid/dn/archive0,[RAM_DISK]file:///grid/dn/ram0；
- 常用命令：
- 设置策略：hdfs storage policies -setStoragePolicy -path <路径> -policy <策略名>
- 查看策略：hdfs storage policies -listPolicies
- 取消策略：hdfs storage policies -unsetStoragePolicy -path <路径>
这些机制允许在CentOS节点上结合SSD/HDD/内存盘/归档介质实现成本与性能的最优权衡。
关键配置与常用命令速览
- 核心配置
- 数据块与副本：块大小常见为128MB/256MB；副本数由dfs.replication控制，默认3；
- 数据目录：DataNode数据目录由dfs.datanode.data.dir指定（可配置多目录以利用多盘吞吐）；
- 名称节点元数据：NameNode 元数据与编辑日志目录由dfs.namenode.name.dir等指定；
- 高可用：通过JournalNode与ZooKeeper实现HA，相关参数如dfs.nameservices、dfs.ha.namenodes.、dfs.namenode.shared.edits.dir、dfs.journalnode.edits.dir、dfs.ha.automatic-failover.enabled等。
- 常用运维命令
- 查看/修改存储策略：hdfs storage policies -listPolicies / -setStoragePolicy / -unsetStoragePolicy
- 文件操作：hdfs dfs -mkdir、hdfs dfs -put、hdfs dfs -cat 等
以上配置与命令覆盖了在CentOS上部署与运维HDFS时的关键路径与高频操作。