Hadoop的文件系统，即Hadoop分布式文件系统（HDFS），具有以下显著特点：
基本特性
-
高容错性：
- 数据自动保存多个副本。
- 支持数据节点故障时的自动恢复。
-
高吞吐量：
- 优化了大文件的读写操作。
- 适合批量处理大规模数据集。
-
可扩展性：
- 可以水平扩展到数千个节点。
- 容易添加新的存储节点而不影响现有服务。
-
经济性：
- 利用普通的商用硬件构建集群。
- 降低了对高端硬件的依赖。
-
一致性模型：
- 提供最终一致性，而非强一致性。
- 适用于大多数大数据应用场景。
-
数据本地化：
- 尽可能将计算任务移动到数据所在的节点上执行。
- 减少了网络传输的开销。
-
简单的文件系统接口：
- 提供了类似于POSIX的文件操作API。
- 便于开发者使用和迁移现有应用程序。
-
命名空间管理：
- 支持层次化的目录结构。
- 允许灵活的权限设置和访问控制。
-
数据块管理：
- 文件被分割成固定大小的块（默认64MB或128MB）。
- 每个块可以有多个副本分布在不同的节点上。
-
心跳机制和租约机制：
- 节点定期发送心跳信号以表明其存活状态。
- 文件块的租约确保只有一个写入者可以修改该块。
高级特性
-
快照功能：
- 允许用户创建文件系统的历史版本快照。
- 方便数据备份和恢复。
-
数据压缩和解压缩：
- 支持多种压缩算法以提高存储效率。
- 在读取时自动解压缩数据。
-
纠删码：
- 一种比传统复制更高效的冗余技术。
- 可以在保持相同容错能力的同时减少存储空间的占用。
-
多租户支持：
- 允许多个独立的应用程序或用户共享同一个HDFS集群。
- 提供细粒度的资源隔离和管理策略。
-
安全性增强：
- 集成了Kerberos等认证机制。
- 支持基于角色的访问控制和审计日志记录。
-
与YARN集成：
- HDFS与YARN（Yet Another Resource Negotiator）紧密集成。
- 实现了计算资源和存储资源的统一管理和调度。
注意事项
- HDFS不适合低延迟的数据访问需求。
- 对于小文件的处理效率不高，因为每个文件都需要单独的元数据管理。
- 需要定期进行数据平衡和维护操作以确保集群的健康运行。
总之，HDFS以其强大的分布式存储能力和良好的扩展性，成为了大数据领域不可或缺的基础设施之一。