一种数据质量检测任务的调度方法
摘要:
本发明提供了一种数据质量检测任务的调度方法,所述调度方法具体为:首先采集每个检测对象的元数据以及日志数据并进行数据清洗,然后计算特征值并进行预处理,将预处理后的特征值输入算法匹配模型,获取对应的数据检测方法,获取每个检测对象的数据规模、数据维度以及对应的数据检测方法类型,确定每个检测对象的检测任务以及预设的计算资源信息,并通过检测时长预测模型获取对应的检测任务执行时长的预测结果,根据每个检测对象的预测结果生成任务执行队列,进行检测任务分配并开展数据质量检测,直至完成所有的检测任务。本发明能够根据检测任务的检测时长来分配执行顺序,能够控制和压减整体检测任务的时长,保障检测结果的时效性。
0/0