发明公开
- 专利标题: 一种数据质量检测方法、装置、计算机设备及介质
-
申请号: CN202310234256.8申请日: 2023-03-08
-
公开(公告)号: CN116361277A公开(公告)日: 2023-06-30
- 发明人: 张旭东 , 黄建平 , 王红凯 , 黄海潮 , 谢裕清 , 冯珺 , 张澄心 , 应张驰 , 何超 , 王嘉琦 , 潘司晨 , 彭梁英 , 赵帅 , 张建松 , 沈思琪 , 陈可
- 申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
- 申请人地址: 浙江省杭州市黄龙路8号641室;
- 专利权人: 国网浙江省电力有限公司信息通信分公司,浙江华云信息科技有限公司
- 当前专利权人: 国网浙江省电力有限公司信息通信分公司,浙江华云信息科技有限公司
- 当前专利权人地址: 浙江省杭州市黄龙路8号641室;
- 代理机构: 北京集佳知识产权代理有限公司
- 代理商 王宝筠
- 主分类号: G06F16/215
- IPC分类号: G06F16/215 ; G06F16/242
摘要:
本申请提供一种数据质量检测方法、装置、计算机设备及介质,获取数据中台的目标系统的第一数据,第一数据包括目标字段;对目标字段进行特征标记,得到目标字段对应的目标特征;根据目标特征和预设对应关系,得到目标特征对应的目标质量检测算法;通过PyODPS内置的聚合函数,利用目标质量检测算法对目标字段进行质量检测,得到包括异常数据的检测结果。对多个目标字段进行质量检测时,在数据中台中可以采用多字段并行检测方式,同时,在对多个目标字段中的每一个目标字段进行检测时,PyODPS内置的聚合函数可以调用数据中台内线程级别的多路并发能力,充分利用数据中台的集群资源进行质量检测,提高对数据质量的检测效率。