多维时序数据异常检测方法、模型训练方法及装置

    公开(公告)号:CN115757365A

    公开(公告)日:2023-03-07

    申请号:CN202111032307.6

    申请日:2021-09-03

    摘要: 本发明提供了一种多维时序数据异常检测方法、模型训练方法及装置,其中,多维时序数据异常检测模型训练方法包括:获取目标对象在预设时间段内各维度的训练时序数据;分别提取各维度的训练时序数据的特征;分别计算两两组合的训练时序数据的特征之间的相关性;根据各维度的训练时序数据的特征和两两组合的训练时序数据的特征之间的相关性建立时序相关图;将时序相关图输入图卷积网络,对图卷积网络进行训练,得到多维时序数据异常检测模型。通过实施本发明能够以更小的代价、更简单地得到的多维时序数据异常检测模型,并且利用本发明训练得到的多维时序异常检测模型对多维的时序数据进行异常检测时,准确性更高。

    一种数据资产质量检测方法和检测装置

    公开(公告)号:CN115481240A

    公开(公告)日:2022-12-16

    申请号:CN202110606566.9

    申请日:2021-05-31

    摘要: 本发明提供了一种数据资产质量检测方法和检测装置,该方法包括:获取待检测数据资产清单;对待检测数据资产清单进行关键词提取,构建关键词语料库;基于预设自定义词库对关键词语料库中的关键词进行特征类型的标注,并利用模型自动标注,构建检测特征关键词库;按照标注的特征类型,对检测特征关键词库与待检测数据资产清单进行映射,生成各数据资产特征清单;基于各特征类型对应的预设检测规则清单,分别对各数据资产特征清单进行数据资产质量检测,生成质量检测结果。根据标注的特征作为检测规则选取的索引,当数据质量检验时,能够快速的匹配出合适的检测规则,从而减少大量的重复工作,提高了数据质检的工作效率。

    一种数据质量校验规则提取方法及系统

    公开(公告)号:CN113987190A

    公开(公告)日:2022-01-28

    申请号:CN202111356033.6

    申请日:2021-11-16

    摘要: 本发明公开了一种数据质量校验规则提取方法及系统,方法包括:扫描元数据,获取数据类型为文本型的字段,标记字段描述中含有取值范围信息的字段并存储取值范围信息;根据元数据信息,扫描文本型字段值,生成字段的值结构与每种值结构的取值占比;对字段生成的值结构类别进行评分,选出其中的可信类别;然后利用可信值结构类别和元数据信息生成字段取值质量校验规则;最后将校验规则入库,生成字段‑规则映射关系,从而实现了文本型数据质量校验规则的有效提取。与现有规则生成方法相比,本发明能大幅提高数据质量规则生成效率和准确度,减轻劳动力,具有更高的实用价值。