一种日志异常检测的方法和装置
    1.
    发明公开

    公开(公告)号:CN114647558A

    公开(公告)日:2022-06-21

    申请号:CN202210173675.0

    申请日:2022-02-24

    摘要: 本公开提供一种日志异常检测的方法和装置,其中所述方法包括:对获取的实时集群日志进行聚类分析,生成对应的标签树;将所述标签树与日志模板库进行匹配,确定与所述标签树匹配的日志模板以及对应的日志异常类别,并将所述实时集群日志按所述日志异常类别保存至对应的日志模板,其中,所述日志模板库包括多个日志模板,每个日志模板具有对应的日志异常类别;基于不同日志异常类别的实时集群日志进行异常检测,确定检测结果,可以实现对海量大数据的实时集群日志的聚合分析,进而对每类实时集群日志进行异常检测,确定检测结果,减少人工排查的工作量,简化了故障排查流程。

    基于词性分析的日志异常检测方法、装置和电子设备

    公开(公告)号:CN114780365A

    公开(公告)日:2022-07-22

    申请号:CN202210435917.9

    申请日:2022-04-24

    摘要: 本公开提供一种基于词性分析的日志异常检测方法、装置和电子设备。通过获取原始日志,根据原始日志和词性分析策略得到合成词向量,实现通过词性分析策略对原始日志进行词性分析,将原始日志转化为具有语义信息的合成词向量,同时也根据单词在原始日志中的重要程度进行优化,达到提升判别准确度的效果。此外,该合成词向量还可以优化原始日志解析的工作量,即省去对无关紧要单词的人工剔除工作,根据合成词向量和日志异常检测模型得到预测分类结果,提升日志异常检测的准确性。

    日志处理方法、装置、计算机系统及可读存储介质

    公开(公告)号:CN114742051A

    公开(公告)日:2022-07-12

    申请号:CN202210441096.X

    申请日:2022-04-25

    摘要: 本公开提供了一种日志处理方法,可以应用于大数据、人工智能、互联网等技术领域,方法包括:确定待处理日志中的目标日志数据;对目标日志数据进行词性分析,确定目标日志数据的词性标注序列;基于词性标注序列和目标日志数据,从多个模板日志中确定与待处理日志相匹配的目标模板日志,其中,多个模板日志各自为已知类别结果的日志;以及基于目标模板日志的类别结果,确定待处理日志的类别结果。本公开还提供了一种日志处理装置、计算机系统、可读存储介质及计算机程序产品。

    异常检测模型的训练方法、异常检测方法及装置

    公开(公告)号:CN113743607B

    公开(公告)日:2023-12-05

    申请号:CN202111083531.8

    申请日:2021-09-15

    摘要: 本公开提供了一种异常检测模型的训练方法,该方法包括:获取多帧时序图像,其中,多帧时序图像包括目标图像和历史图像,目标图像包括待测数据点,历史图像包括在待测数据点之前的历史数据点,待测数据点具有标签信息,标签信息表征待测数据点的异常值;将多帧时序图像输入待训练的异常检测模型,以便待训练的异常检测模型根据历史图像对目标图像中的待测数据点进行异常检测,输出预测结果,其中,预测结果表征待测数据点的预测异常值;以及根据预测结果和标签信息迭代地调整待训练的异常检测模型的网络参数,生成训练完成的异常检测模

    预训练模型训练、文本分类和系统运维的方法和装置

    公开(公告)号:CN115062154A

    公开(公告)日:2022-09-16

    申请号:CN202210830158.6

    申请日:2022-07-15

    摘要: 本发明公开了预训练模型训练、文本分类和系统运维的方法和装置,涉及计算机技术领域。该预训练模型训练的方法的一具体实施方式包括:从训练样本中提取样本模板,基于自注意力机制构建所述样本模板的词向量和位置向量;通过词性分析确定所述样本模板的词性向量,为每个所述词性分配权重系数以得到所述样本模板的词性权重向量;拼接所述词向量、所述位置向量和所述词性权重向量,以拼接得到的向量作为模型输入、所述训练样本所属类别作为输出训练双向语言模型,得到用于进行文本分类的预训练模型。该实施方式能够在大规模的文本体量上进行无人工或者少人工的干预,充分将文本中不同字符的不同重要性考虑在内,提高分类准确性。

    指标时序数据的异常检测方法、装置、设备及存储介质

    公开(公告)号:CN114358540A

    公开(公告)日:2022-04-15

    申请号:CN202111589012.9

    申请日:2021-12-23

    IPC分类号: G06Q10/06 G06N3/04 G06N3/08

    摘要: 本公开提出一种指标时序数据的异常检测方法、装置、设备及存储介质,该方法包括:获取历史指标时序数据和待检测指标时序数据,确定历史指标时序数据的历史特征表示,并确定待检测指标时序数据的待检测特征表示,根据待检测特征表示,确定历史特征表示的权重描述信息,根据权重描述信息,确定待检测指标时序数据是否存在异常。通过本公开,能够较大程度上实现对历史指标时序数据中的历史特征表示等有效数据信息的提取利用,从而可以获取较为准确的权重描述信息,由于权重描述信息可以实现根据数据重要性对历史指标时序数据进行合理分配,从而可以有效提升根据权重描述信息进行指标时序数据异常检测的准确性,有效提升指标时序数据的异常检测效率。

    多指标时序信号的异常检测方法、装置及电子设备

    公开(公告)号:CN113780238A

    公开(公告)日:2021-12-10

    申请号:CN202111136357.9

    申请日:2021-09-27

    IPC分类号: G06K9/00 G06N3/04 G06N3/08

    摘要: 本申请提出一种多指标时序信号的异常检测方法、装置及电子设备,其中方法包括:确定待处理的图像序列,其中,图像序列包括:在多个时间窗口内分别对多指标时序信号进行图像采集得到的多个图像;对多个图像分别进行指标趋势特征以及指标相关性特征提取处理,以生成图像序列对应的特征序列;根据特征序列,确定多指标时序信号是否存在异常,考虑的特征比较全,异常检测准确度高,异常检测效率高。

    异常检测模型的训练方法、异常检测方法及装置

    公开(公告)号:CN113743607A

    公开(公告)日:2021-12-03

    申请号:CN202111083531.8

    申请日:2021-09-15

    IPC分类号: G06N3/08 G06N3/04 G06K9/62

    摘要: 本公开提供了一种异常检测模型的训练方法,该方法包括:获取多帧时序图像,其中,多帧时序图像包括目标图像和历史图像,目标图像包括待测数据点,历史图像包括在待测数据点之前的历史数据点,待测数据点具有标签信息,标签信息表征待测数据点的异常值;将多帧时序图像输入待训练的异常检测模型,以便待训练的异常检测模型根据历史图像对目标图像中的待测数据点进行异常检测,输出预测结果,其中,预测结果表征待测数据点的预测异常值;以及根据预测结果和标签信息迭代地调整待训练的异常检测模型的网络参数,生成训练完成的异常检测模型。本公开还提供了一种异常检测方法、装置、计算机系统和计算机可读存储介质。