多维时序数据异常检测方法、模型训练方法及装置

    公开(公告)号:CN115757365A

    公开(公告)日:2023-03-07

    申请号:CN202111032307.6

    申请日:2021-09-03

    摘要: 本发明提供了一种多维时序数据异常检测方法、模型训练方法及装置,其中,多维时序数据异常检测模型训练方法包括:获取目标对象在预设时间段内各维度的训练时序数据;分别提取各维度的训练时序数据的特征;分别计算两两组合的训练时序数据的特征之间的相关性;根据各维度的训练时序数据的特征和两两组合的训练时序数据的特征之间的相关性建立时序相关图;将时序相关图输入图卷积网络,对图卷积网络进行训练,得到多维时序数据异常检测模型。通过实施本发明能够以更小的代价、更简单地得到的多维时序数据异常检测模型,并且利用本发明训练得到的多维时序异常检测模型对多维的时序数据进行异常检测时,准确性更高。

    一种数据资产质量检测方法和检测装置

    公开(公告)号:CN115481240A

    公开(公告)日:2022-12-16

    申请号:CN202110606566.9

    申请日:2021-05-31

    摘要: 本发明提供了一种数据资产质量检测方法和检测装置,该方法包括:获取待检测数据资产清单;对待检测数据资产清单进行关键词提取,构建关键词语料库;基于预设自定义词库对关键词语料库中的关键词进行特征类型的标注,并利用模型自动标注,构建检测特征关键词库;按照标注的特征类型,对检测特征关键词库与待检测数据资产清单进行映射,生成各数据资产特征清单;基于各特征类型对应的预设检测规则清单,分别对各数据资产特征清单进行数据资产质量检测,生成质量检测结果。根据标注的特征作为检测规则选取的索引,当数据质量检验时,能够快速的匹配出合适的检测规则,从而减少大量的重复工作,提高了数据质检的工作效率。

    一种数据异常检测算法确定方法、装置及计算机设备

    公开(公告)号:CN113536066A

    公开(公告)日:2021-10-22

    申请号:CN202110803457.6

    申请日:2021-07-16

    IPC分类号: G06F16/903 G06K9/62 G06N3/12

    摘要: 本发明公开了一种数据异常检测算法确定方法、装置及计算机设备,该方法包括:获取待检测数据;根据预设特征提取工具对所述待检测数据进行特征提取,得到所述待检测数据的指纹信息;根据所述待检测数据的指纹信息与预设算法选择模型中的指纹信息进行特征匹配,根据与待检测数据的指纹信息最相似的指纹信息对应的异常检测算法确定待检测数据的异常检测算法。本发明通过对待检数据进行特征提取,与提前设置好的预设算法选择模型中的多个数据的指纹信息进行特征匹配,根据匹配度最高的指纹信息对应的异常检测算法确定该待检测数据的异常检测算法,可以实现根据数据特征变化,实时选择最适应该待检测数据的异常检测算法,场景适应能力强,通用性较好。

    一种防止敏感数据泄漏的方法及系统

    公开(公告)号:CN110704873B

    公开(公告)日:2021-05-25

    申请号:CN201910910399.X

    申请日:2019-09-25

    IPC分类号: G06F21/62 G06Q50/06

    摘要: 本发明公开了一种防止敏感数据泄漏的方法及系统,其中方法包括:利用预设敏感字段发现算法建立原始敏感字段库;获取敏感数据全生命周期过程中的元数据;根据原始敏感字段库和元数据,解析敏感数据流转过程中的模型及代码,获取全链路中敏感数据的血缘关系和使用路径;利用敏感数据的血缘关系和使用路径,获取敏感数据使用清单;利用预设数据特征分析算法解析敏感数据转换过程,获取敏感数据检查清单;预警并审计敏感数据。本发明将原始敏感字段库、元数据管理、模型及代码解析、敏感数据血缘关系、敏感数据内容特征解析与预警审计结合,使敏感数据的流转和使用过程更直观、清晰,有效降低了数据的全生命周期中各环节敏感数据泄露的风险。

    一种防止敏感数据泄漏的方法及系统

    公开(公告)号:CN110704873A

    公开(公告)日:2020-01-17

    申请号:CN201910910399.X

    申请日:2019-09-25

    IPC分类号: G06F21/62 G06Q50/06

    摘要: 本发明公开了一种防止敏感数据泄漏的方法及系统,其中方法包括:利用预设敏感字段发现算法建立原始敏感字段库;获取敏感数据全生命周期过程中的元数据;根据原始敏感字段库和元数据,解析敏感数据流转过程中的模型及代码,获取全链路中敏感数据的血缘关系和使用路径;利用敏感数据的血缘关系和使用路径,获取敏感数据使用清单;利用预设数据特征分析算法解析敏感数据转换过程,获取敏感数据检查清单;预警并审计敏感数据。本发明将原始敏感字段库、元数据管理、模型及代码解析、敏感数据血缘关系、敏感数据内容特征解析与预警审计结合,使敏感数据的流转和使用过程更直观、清晰,有效降低了数据的全生命周期中各环节敏感数据泄露的风险。