公开(公告)号：CN114416479B

公开(公告)日：2025-04-25

申请号：CN202210031701.6

申请日：2022-01-12

Applicant: 大连海事大学

Inventor： 曹志英 ,  王雪洁 ,  王乔正 ,  张秀国 ,  徐伟刚

IPC: G06F11/30 ,  G06F40/205 ,  G06F40/30 ,  G06F16/17 ,  G06F16/182 ,  G06N3/045 ,  G06N3/088

Abstract: 本发明提供一种基于流外正则化的日志序列异常检测方法，该方法对BERT模型进行优化并将其作为语义特征提取模型，优化方法是将MixUp数据增强作为流外正则化的一种形式，在数据流形之外的模型输入空间上施加线性约束，将生成器和鉴别器分别嵌入到BERT模型的不同Encoder层。通过训练鉴别器来检测输入嵌入是否位于流形外，优化生成器来生成流形外嵌入，使其易于被鉴别器识别为流形外嵌入，以便发现对日志序列分类任务有用但通过单词访问不到的嵌入，提高异常检测的准确性。此外，本发明分别从日志条目与日志序列两个粒度上提取日志语义特征，不仅可以提取日志序列的语义特征，还可以提取到日志条目本身包含的语义信息，从而增强异常检测的鲁棒性。

公开(公告)号：CN115617614A

公开(公告)日：2023-01-17

申请号：CN202211339210.4

申请日：2022-10-28

Applicant: 大连海事大学

Inventor： 曹志英 ,  徐伟刚 ,  张秀国 ,  李旺旺

IPC: G06F11/30 ,  G06F40/30 ,  G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于时间间隔感知自注意力机制的日志序列异常检测方法，本发明在使用Transformer编码器提取日志序列特征的过程中引入了时间间隔感知自注意力机制，在计算注意力分数的过程中利用了日志模板的语义信息与时间间隔信息，提高获取日志之间关联信息的能力，使得模型能够学习到序列中日志之间的时间间隔对于异常检测的影响，提高了异常检测的准确率。同时，在利用BERT语言模型提取词向量的基础上，采用CNN聚合词向量生成日志模板的向量表示，学习单词本身及其上下文不同尺度的语义信息，使得模型能够适应软件更新过程中日志语句中的单词变化，提高了异常检测的鲁棒性。

公开(公告)号：CN118012727A

公开(公告)日：2024-05-10

申请号：CN202410121400.1

申请日：2024-01-29

Applicant: 大连海事大学

Inventor： 曹志英 ,  徐伟刚 ,  张秀国 ,  王培鹏

IPC: G06F11/34 ,  G06N3/042 ,  G06N3/045 ,  G06F40/186 ,  G06N3/08 ,  G06F40/30 ,  G06F18/241

Abstract: 本发明提供了一种基于异构图注意力神经网络的日志序列异常检测方法，包括如下步骤：S1、将无结构的日志消息解析为结构化的日志模板和组件；S2、根据日志数据集的特点，按照其会话id或滑动窗口划分日志模板序列；S3、将日志模板序列中的日志模板输入到BERT模型，提取日志模板向量；S4、根据日志模板向量与组件序列构造日志序列异构图；S5、将日志序列异构图输入到异构图注意力网络中提取日志序列特征；S6、将日志序列特征向量输入包含Softmax的MLP网络进行分类。本发明提出了一种基于日志模板和组件的异构图建模方法，准确地表示日志序列中不同事件间的交互，并利用图注意力网络获取日志序列异构图的特征，提高了异常检测准确率。

公开(公告)号：CN117313741A

公开(公告)日：2023-12-29

申请号：CN202311191162.3

申请日：2023-09-14

Applicant: 大连海事大学

Inventor： 张秀国 ,  王培鹏 ,  曹志英 ,  陈雨田 ,  李旺旺 ,  徐伟刚

IPC: G06F40/30 ,  G06F40/258 ,  G06F40/211 ,  G06N3/0442 ,  G06N3/08 ,  G06F11/30

Abstract: 本发明公开了一种基于语义距离和TCN‑Attention的日志序列异常检测方法，包括以下步骤：利用Drain算法进行日志解析，将非结构化的日志条目转化为结构化的日志集合；采用LDA提取日志主题词并采用Word2vec建模词向量，通过计算语义距离为所有日志词赋予不同大小的权重因子，基于加权聚合的方式生成日志语义特征；利用TCN来分析日志序列中相邻和间隔日志事件间的关系，在局部和全局角度捕获日志上下文信息；利用attention自动地学习不同日志事件的重要性，捕获日志序列的关键特征；将日志序列关键特征输入到MLP进行日志序列异常检测。本发明能够突出日志序列的关键特征，从而准确地检测出更多异常日志序列。

公开(公告)号：CN114416479A

公开(公告)日：2022-04-29

申请号：CN202210031701.6

申请日：2022-01-12

Applicant: 大连海事大学

Inventor： 曹志英 ,  王雪洁 ,  王乔正 ,  张秀国 ,  徐伟刚

IPC: G06F11/30 ,  G06F40/205 ,  G06F40/30 ,  G06F16/17 ,  G06F16/182 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于流外正则化的日志序列异常检测方法，该方法对BERT模型进行优化并将其作为语义特征提取模型，优化方法是将MixUp数据增强作为流外正则化的一种形式，在数据流形之外的模型输入空间上施加线性约束，将生成器和鉴别器分别嵌入到BERT模型的不同Encoder层。通过训练鉴别器来检测输入嵌入是否位于流形外，优化生成器来生成流形外嵌入，使其易于被鉴别器识别为流形外嵌入，以便发现对日志序列分类任务有用但通过单词访问不到的嵌入，提高异常检测的准确性。此外，本发明分别从日志条目与日志序列两个粒度上提取日志语义特征，不仅可以提取日志序列的语义特征，还可以提取到日志条目本身包含的语义信息，从而增强异常检测的鲁棒性。