HBase的元数据(Metadata)主要包含以下几个部分的信息:
- Cluster ID:标识HBase集群的唯一ID。
- Zookeeper Quorum:HBase使用ZooKeeper来管理元数据,这个字符串就是ZooKeeper集群的地址。
- Cluster Time:集群的时间戳,用于标识集群中各个节点的状态一致性。
- Global MemStore Size:全局MemStore的大小,即所有RegionServer上MemStore的总大小。
- Total Region Count:当前集群中的Region总数。
- Total Store Count:当前集群中的Store(即RegionServer)总数。
- Total BlockCache Size:BlockCache的总大小。
- Total HFile Count:当前集群中所有的HFile文件数量。
- ** Compaction State**:当前HBase的Compaction状态,包括大小、开始时间、完成时间等。
- Bloom Filter Type:HBase使用的布隆过滤器类型。
- Block Cache Hit Ratio:BlockCache的命中率。
- Region Server Load Average:RegionServer的平均负载。
- DataNodes Count:集群中DataNode(HDFS上的数据节点)的数量。
- WAL (Write Ahead Log) Count:WAL文件的数量。
- Table Descriptors:表描述信息,包括表名、列族、版本号等。
- Region Descriptors:Region描述信息,包括起始和结束Key、所在RegionServer等。
- Store File Descriptors:每个Store(RegionServer上的存储单元)中的StoreFile描述信息。
- HFile Descriptors:每个HFile文件的描述信息。
- User Metadata:用户自定义的元数据。
- Replication Metadata:关于HBase表数据复制的信息。
- Security Metadata:关于HBase表访问权限的信息。
- Timestamps:与时间戳相关的元数据,例如表的创建时间、修改时间等。
- Block Mismatch Count:Block不匹配的数量,用于检测数据不一致。
- Online Region Servers:在线RegionServer的状态信息。
- Offline Region Servers:离线RegionServer的状态信息。
- Pending Compactions:待执行的Compaction任务信息。
- Compacted Regions:已经执行Compaction操作的Region信息。
- Small Compactions:小文件Compaction的信息。
- Large Compactions:大文件Compaction的信息。
- Split/Merge Region Events:Region分裂和合并的事件信息。
- Region Server Metrics:RegionServer的性能指标。
- WAL Metrics:WAL的性能指标。
- Block Cache Metrics:BlockCache的性能指标。
- Region Metrics:Region的性能指标。
- Store Metrics:Store的性能指标。
- Cluster Metrics:整个集群的性能指标。
- GC Metrics:垃圾回收(GC)的性能指标。
- JVM Heap Metrics:Java虚拟机(JVM)堆内存的性能指标。
- File System Metrics:文件系统的性能指标。
- Network Metrics:网络性能指标。
- Disk Metrics:磁盘性能指标。
- CPU Metrics:CPU性能指标。
- Memory Metrics:内存性能指标。
- Load Balancer Metrics:负载均衡器的性能指标。
- Region Load Balancer Metrics:Region负载均衡器的性能指标。
- Block Cache Eviction Metrics:BlockCache驱逐的性能指标。
- WAL Rolling Metrics:WAL滚动(例如由于文件大小限制)的性能指标。
- HBase Version:HBase的版本信息。
- Hadoop Version:运行HBase的Hadoop版本信息。
- Configuration Information:HBase的配置信息,包括hbase-site.xml等配置文件的值。
这些元数据信息存储在HBase的HDFS上,并且会被HBase Master和RegionServer进程使用,以确保集群的状态同步、故障恢复、负载均衡等功能。