HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个关键组件，用于存储和处理大规模数据集。它是一个分布式文件系统，设计用于在具有大量节点的集群上存储和处理大型数据集。以下是HDFS文件系统结构的详细说明：
HDFS体系结构
- NameNode：作为主节点，负责管理文件系统的命名空间和访问控制。它维护了整个文件系统的元数据信息，包括文件和目录的层次结构、文件的块信息以及文件的访问权限。
- DataNode：作为工作节点，负责实际的数据存储。每个文件被切分成多个块（默认每个块为128MB），这些块分布式存储在不同的DataNode上。
- Secondary NameNode：作为NameNode的辅助节点，负责定期对NameNode的元数据进行快照，帮助减少NameNode的元数据膨胀，并提供一定的备份作用。
- 客户端：通过与NameNode和DataNode交互来读写数据。
HDFS文件存储机制
- 数据块（Block）：文件在HDFS中被切分成多个块，默认块大小为128MB，这些块被存储在不同的DataNode上，以实现分布式存储和并行处理。
- 副本机制：为了保证数据的可靠性，HDFS会对每个数据块进行多副本存储，默认情况下每个数据块有3个副本，副本分布在不同的DataNode上。
- 机架感知（Rack Awareness）：HDFS支持机架感知，以确保数据块至少存放在同一机房的不同机架以及跨数据中心的某一机架中，以提高容错性和数据访问性能。
HDFS的工作原理
- 文件写入：客户端请求NameNode写入文件，NameNode决定文件需要分割为多少个块，并选择DataNode节点来存储这些块。客户端将文件分块，并将每个块依次写入到DataNode。为了保证容错性，每个块会在不同的DataNode上存储多份副本。
- 文件读取：客户端请求NameNode读取某个文件，NameNode返回该文件每个块所在的DataNode地址。客户端直接与DataNode交互，按需读取相应的数据块。
以上信息提供了关于CentOS上运行的HDFS文件系统结构的概览，包括其核心组件、文件存储机制以及工作原理。