公开(公告)号：CN115827598A

公开(公告)日：2023-03-21

申请号：CN202211516279.X

申请日：2022-11-30

申请人： 江苏瑞中数据股份有限公司 ,  南瑞集团有限公司

发明人： 张见豪 ,  李贤慧 ,  李芾玮 ,  张超 ,  陈南明 ,  富鹏 ,  彭晨辉 ,  王鸣一

IPC分类号： G06F16/21 ,  G06F16/215 ,  G06F16/22 ,  G06F16/28 ,  G06F16/26

摘要： 本发明公开了一种ICEBERG数据湖的数据质量监测方法和系统，所述方法采用异常数据日志数据、数据量核查等方式监测数据湖系统中的数据质量，所述系统数据处理架构分为四层，分别是数据采集层、日志存储层、数据质量分析层与数据质量展示层。本发明通过离线和实时方式，能够帮助管理员及时发现与解决数据质量问题；本发明数据采用日志获取的方式进行监测，对运行系统的侵入性进一步降低，有利于全面监测数据湖所有系统，提高数据质量；本发明监控模块之间相互独立，可以全面监控数据湖系统质量信息，也可以根据现场情况单独选择需要模块监控部署。