- 专利标题: 一种分布式处理环境下的集中式数据质量监测方法
-
申请号: CN202110500263.9申请日: 2021-05-08
-
公开(公告)号: CN113242157B公开(公告)日: 2022-12-09
- 发明人: 周昊 , 高川 , 肖崇蕙 , 严寒冰 , 丁丽 , 李志辉 , 朱天 , 饶毓 , 徐剑 , 郭晶 , 吕志泉 , 韩志辉 , 马莉雅 , 雷君 , 贾世琳 , 吕卓航 , 贺铮
- 申请人: 国家计算机网络与信息安全管理中心
- 申请人地址: 北京市朝阳区裕民路甲3号
- 专利权人: 国家计算机网络与信息安全管理中心
- 当前专利权人: 国家计算机网络与信息安全管理中心
- 当前专利权人地址: 北京市朝阳区裕民路甲3号
- 代理机构: 哈尔滨市晨晟知识产权代理有限公司
- 代理商 朱永林
- 主分类号: H04L43/04
- IPC分类号: H04L43/04 ; H04L43/06
摘要:
本发明提出了一种分布式处理环境下的集中式数据质量监测方法,本申请涉及一种数据质量监测方法,尤其涉及一种分布式处理环境下的集中式数据质量监测方法,属于数据分析技术领域。根据实际监测需要配置待监测的数据灵活配置监测规则,对待监测数据进行监测,数据质量监测服务获取待监测数据后,把待监测数据集进行分块,让多个计算节点对分布式内存上的数据同时根据配置并行计算,然后将对多个计算节点上的计算结果进行汇总后生成监测结果,生成数据质量监测报告,从而辅助运维人员快速发现数据质量问题进而跟踪解决,以此提升实时数据中心平台的数据质量;解决了现有技术中存在的数据质量监测方法配置不灵活且不利于管理的技术问题。
公开/授权文献
- CN113242157A 一种分布式处理环境下的集中式数据质量监测方法 公开/授权日:2021-08-10