基于多元数据扩散的模型训练、水检测方法及系统

    公开(公告)号:CN118035926A

    公开(公告)日:2024-05-14

    申请号:CN202410432016.3

    申请日:2024-04-11

    摘要: 本发明涉及在线监控和数据检测技术领域,尤其是一种基于多元数据扩散的模型训练、水检测方法及系统。本发明提出的基于多元数据扩散的模型训练方法,本质是为了训练多元时间序列无监督异常检测模型。本发明对标准扩散模型进行了改进,该模型不是直接由输入数据和重构数据得出异常分数,而是将扩散步长应用到异常分数的表示上,而是将扩散步长应用到异常分数的表示上,以增强对MTS时间依赖性的学习。本发明训练的异常检测模型在检测精度方面优于当前最先进的所有基准,具有更好的F1得分,最终训练的异常检测模型在鲁棒性上显著超越了现有水平。

    基于深度学习的网络流量矩阵估计、模型训练方法和系统

    公开(公告)号:CN116319378A

    公开(公告)日:2023-06-23

    申请号:CN202310545574.6

    申请日:2023-05-16

    摘要: 本发明涉及网络工程和人工智能技术领域,尤其是一种基于深度学习的网络流量矩阵估计、模型训练方法和系统。本发明针对包含映射模块和重构模块的基础模型进行训练,提取训练完成的映射模块作为网络流量矩阵估计模型。映射模块结合链路负载计算流量矩阵,重构模块结合流量矩阵重构链路负载估计值。本发明能够在数据集不完整的情况下,利用双损失机制保证基础模型对现实TM估计的准确性、鲁棒性与实时性,本发明解决了实际生活中大量存在的训练数据集缺失导致的模型欠收敛问题。

    物联网数据异常检测模型训练方法、异常检测方法和系统

    公开(公告)号:CN115589608A

    公开(公告)日:2023-01-10

    申请号:CN202211545236.4

    申请日:2022-12-05

    摘要: 本发明涉及数据检测技术领域,尤其涉及一种物联网数据异常检测模型训练方法、异常检测方法和系统,解决了现有各类技术在物联网异常数据检测时,存在的对高维数据存在检测效果不理想、增加数据处理负担、无法实现实时检测的问题。本发明提出的一种物联网数据异常检测模型训练方法,额外增加了一个用以保证循环一致性的第二识别网络,并采用近似梯度的方法迭代异常数据,以逐步排除异常成分。本发明在异常检测阶段,同时考虑重构误差与识别误差,并设计了用于评估数据异常程度的评价值计算函数,本发明训练的异常检测模型具有更好的F1得分,展现模型在精确度和召回率上显著超越了现有技术。

    物联网数据异常检测模型训练方法、异常检测方法和系统

    公开(公告)号:CN115589608B

    公开(公告)日:2023-03-07

    申请号:CN202211545236.4

    申请日:2022-12-05

    摘要: 本发明涉及数据检测技术领域,尤其涉及一种物联网数据异常检测模型训练方法、异常检测方法和系统,解决了现有各类技术在物联网异常数据检测时,存在的对高维数据存在检测效果不理想、增加数据处理负担、无法实现实时检测的问题。本发明提出的一种物联网数据异常检测模型训练方法,额外增加了一个用以保证循环一致性的第二识别网络,并采用近似梯度的方法迭代异常数据,以逐步排除异常成分。本发明在异常检测阶段,同时考虑重构误差与识别误差,并设计了用于评估数据异常程度的评价值计算函数,本发明训练的异常检测模型具有更好的F1得分,展现模型在精确度和召回率上显著超越了现有技术。

    多变量时间序列数据异常检测、模型训练方法和系统

    公开(公告)号:CN116304604A

    公开(公告)日:2023-06-23

    申请号:CN202310531272.3

    申请日:2023-05-12

    摘要: 本发明涉及数据检测技术领域,尤其涉及一种多变量时间序列数据异常检测、模型训练方法和系统,解决了现有各类技术在多变量时间序列异常数据检测时,存在的受噪声影响大、检测效果不理想、无法实现实时检测的问题。本发明提出的一种多变量时间序列数据异常检测模型训练方法,额外增加了用以消除噪声影响的自适应权重和过滤模块,并采用对比学习的方法学习数据特征,以提升模型的泛化能力。本发明在异常检测阶段,着重考虑重构误差,并设计了用于评估数据异常程度的评价函数,本发明训练的异常检测模型具有更好的F1得分,展现模型在鲁棒性上显著超越了现有技术。

    基于多元数据扩散的模型训练、水检测方法及系统

    公开(公告)号:CN118035926B

    公开(公告)日:2024-06-18

    申请号:CN202410432016.3

    申请日:2024-04-11

    摘要: 本发明涉及在线监控和数据检测技术领域,尤其是一种基于多元数据扩散的模型训练、水检测方法及系统。本发明提出的基于多元数据扩散的模型训练方法,本质是为了训练多元时间序列无监督异常检测模型。本发明对标准扩散模型进行了改进,该模型不是直接由输入数据和重构数据得出异常分数,而是将扩散步长应用到异常分数的表示上,而是将扩散步长应用到异常分数的表示上,以增强对MTS时间依赖性的学习。本发明训练的异常检测模型在检测精度方面优于当前最先进的所有基准,具有更好的F1得分,最终训练的异常检测模型在鲁棒性上显著超越了现有水平。

    多变量时间序列数据异常检测、模型训练方法和系统

    公开(公告)号:CN116304604B

    公开(公告)日:2023-08-18

    申请号:CN202310531272.3

    申请日:2023-05-12

    摘要: 本发明涉及数据检测技术领域,尤其涉及一种多变量时间序列数据异常检测、模型训练方法和系统,解决了现有各类技术在多变量时间序列异常数据检测时,存在的受噪声影响大、检测效果不理想、无法实现实时检测的问题。本发明提出的一种多变量时间序列数据异常检测模型训练方法,额外增加了用以消除噪声影响的自适应权重和过滤模块,并采用对比学习的方法学习数据特征,以提升模型的泛化能力。本发明在异常检测阶段,着重考虑重构误差,并设计了用于评估数据异常程度的评价函数,本发明训练的异常检测模型具有更好的F1得分,展现模型在鲁棒性上显著超越了现有技术。

    基于深度学习的网络流量矩阵估计、模型训练方法和系统

    公开(公告)号:CN116319378B

    公开(公告)日:2023-07-21

    申请号:CN202310545574.6

    申请日:2023-05-16

    摘要: 本发明涉及网络工程和人工智能技术领域,尤其是一种基于深度学习的网络流量矩阵估计、模型训练方法和系统。本发明针对包含映射模块和重构模块的基础模型进行训练,提取训练完成的映射模块作为网络流量矩阵估计模型。映射模块结合链路负载计算流量矩阵,重构模块结合流量矩阵重构链路负载估计值。本发明能够在数据集不完整的情况下,利用双损失机制保证基础模型对现实TM估计的准确性、鲁棒性与实时性,本发明解决了实际生活中大量存在的训练数据集缺失导致的模型欠收敛问题。