historian数据库通过一系列机制来保证数据的准确性,这些机制涉及数据获取、存储、复制以及检索等各个环节。以下是相关介绍:
数据获取
- 高效数据获取:Wonderware Historian作为实时数据库,能够高效和高速地获取数据,通过存储数据的时间戳、数据质量和数据值来确保数据的准确性。
- 支持多种数据源:包括I/O Servers、Application Server、SDK以及外部数据导入,确保数据的多样性和完整性。
数据存储
- 高压缩比存储:采用History Block(数据块)的方式,以高压缩比存储实际的过程数据,减少磁盘空间占用。
- 自动汇总数据:对于每个数值型标签,系统自动创建本地复制来计算汇总数据,加速数据检索性能。
数据冗余及复制
- 完善的冗余机制:通过配置,让数据源同时分发数据到两台数据库,保障数据的连续性。
- 数据复制功能:支持简单复制和汇总复制,包括中央化数据管理、多对多复制及本地到云端复制等业务方式。
数据检索
- 标准SQL查询语言:采用集成SQL Server的方式,提供标准的SQL查询语言来检索数据,确保数据的易检索性。
数据清洗策略
- 数据缺失值处理:对每个字段计算其缺失值比例,根据缺失比例和字段重要性进行分别制定战略。
- 数据值不匹配处理:以半自动校验半人工方式来找出可能存在的问题,并去除不需要的字符。
- 数据重复处理:去重的主要目的是保留能显示特征的唯一数据记录,但需注意重复记录的特殊用途。
- 数据不合理处理:利用分箱、聚类、回归等方式发现离群值,然后进行人工处理。
- 数据字段格式不统一处理:整合多种来源数据时,将其处理成一致的格式利于后期统一数据分析。
- 数据无用处理:若非必须,则不进行非需求数据清洗。
数据治理
- 数据质量计划:了解大多数错误发生的位置,确定根本原因并构建管理数据的计划。
- 源端数据更正:在数据成为系统中的脏数据之前进行修复。
- 测量数据准确性:通过数据质量监控工具实现对企业数据的实时测量。
- 管理数据和重复项:主动检测并删除重复项,并进行标准化、规范化处理。
- 补齐数据:定义和完成缺失信息的过程,使用可靠的第三方数据来源。
数据准确性提升策略
- 数据清洗的好处:提高数据质量、提升分析的准确性、支持业务决策、减少存储成本、确保数据时效性。
通过上述机制,historian数据库能够确保数据的准确性,为工业领域的数据分析和应用提供可靠的支持。