发明公开
- 专利标题: 一种数据质量检测任务的调度方法
-
申请号: CN202210276240.9申请日: 2022-03-21
-
公开(公告)号: CN115016904A公开(公告)日: 2022-09-06
- 发明人: 黄建平 , 张旭东 , 张建松 , 沈思琪 , 陈可 , 王红凯 , 黄海潮 , 谢裕清 , 冯珺 , 张澄心 , 应张驰 , 何超 , 王嘉琦 , 潘司晨 , 彭梁英 , 赵帅
- 申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
- 申请人地址: 浙江省杭州市黄龙路8号;
- 专利权人: 国网浙江省电力有限公司信息通信分公司,浙江华云信息科技有限公司
- 当前专利权人: 国网浙江省电力有限公司信息通信分公司,浙江华云信息科技有限公司
- 当前专利权人地址: 浙江省杭州市黄龙路8号;
- 代理机构: 杭州华鼎知识产权代理事务所
- 代理商 项军
- 主分类号: G06F9/48
- IPC分类号: G06F9/48 ; G06F16/215 ; G06N3/02 ; G06N5/00
摘要:
本发明提供了一种数据质量检测任务的调度方法,所述调度方法具体为:首先采集每个检测对象的元数据以及日志数据并进行数据清洗,然后计算特征值并进行预处理,将预处理后的特征值输入算法匹配模型,获取对应的数据检测方法,获取每个检测对象的数据规模、数据维度以及对应的数据检测方法类型,确定每个检测对象的检测任务以及预设的计算资源信息,并通过检测时长预测模型获取对应的检测任务执行时长的预测结果,根据每个检测对象的预测结果生成任务执行队列,进行检测任务分配并开展数据质量检测,直至完成所有的检测任务。本发明能够根据检测任务的检测时长来分配执行顺序,能够控制和压减整体检测任务的时长,保障检测结果的时效性。