一种数据质量检测方法、装置、计算机设备及介质
摘要:
本申请提供一种数据质量检测方法、装置、计算机设备及介质,获取数据中台的目标系统的第一数据,第一数据包括目标字段;对目标字段进行特征标记,得到目标字段对应的目标特征;根据目标特征和预设对应关系,得到目标特征对应的目标质量检测算法;通过PyODPS内置的聚合函数,利用目标质量检测算法对目标字段进行质量检测,得到包括异常数据的检测结果。对多个目标字段进行质量检测时,在数据中台中可以采用多字段并行检测方式,同时,在对多个目标字段中的每一个目标字段进行检测时,PyODPS内置的聚合函数可以调用数据中台内线程级别的多路并发能力,充分利用数据中台的集群资源进行质量检测,提高对数据质量的检测效率。
0/0