公开(公告)号：CN116933791A

公开(公告)日：2023-10-24

申请号：CN202310655134.6

申请日：2023-06-02

Applicant: 广州大学

Inventor： 尚文利 ,  龚致贤 ,  朱鹏程 ,  揭海 ,  曹忠 ,  张曼 ,  浣沙 ,  张梦

IPC: G06F40/295 ,  G06F40/126 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/084 ,  H04L9/40

Abstract: 本发明公开了基于BERT‑BiLSTM‑GAM‑CRF的网络安全实体识别方法，本发明利用预训练的BERT模型获取上下文信息得到每个单词的表示向量，输入到BiLSTM后对单词序列进行编码获得更加全局和上下文感知的特征表示，而GAM是基于BiLSTM的输出进一步提取关键的上下文表示，减小不相关的上下文影响，CRF能够考虑当前标签状态与上下文之间的依赖关系，从而得到更加准确的标注结果。

公开(公告)号：CN116611436A

公开(公告)日：2023-08-18

申请号：CN202310416035.2

申请日：2023-04-18

Applicant: 广州大学

Inventor： 尚文利 ,  朱鹏程 ,  曹忠 ,  丁磊 ,  张曼 ,  浣沙 ,  时昊天 ,  李淑琦

IPC: G06F40/295 ,  G06F40/211 ,  G06N5/04 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08 ,  H04L9/40

Abstract: 本发明公开了一种基于威胁情报的网络安全命名实体识别方法，基于深度神经网络，采用如下技术方案：(a)使用BERT大规模预训练模型对文本进行向量表示。由于预训练模型包含了从大规模语料库中学习到的上下文信息，可以极大丰富模型对威胁情报文本的语义表达。(b)融合多个句法信息，如词性、语法成分、依赖关系等。添加新特征，增强模型对标签的推理能力，缓解OOV(Out of Vocabulary)问题。(c)添加全局注意力机制层，增强模型对远距离特征的获取能力，缓解实体稀疏问题。

公开(公告)号：CN116611436B

公开(公告)日：2024-07-09

申请号：CN202310416035.2

申请日：2023-04-18

Applicant: 广州大学

Inventor： 尚文利 ,  朱鹏程 ,  曹忠 ,  丁磊 ,  张曼 ,  浣沙 ,  时昊天 ,  李淑琦

IPC: G06F40/295 ,  G06F40/211 ,  G06N5/04 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08 ,  H04L9/40

Abstract: 本发明公开了一种基于威胁情报的网络安全命名实体识别方法，基于深度神经网络，采用如下技术方案：(a)使用BERT大规模预训练模型对文本进行向量表示。由于预训练模型包含了从大规模语料库中学习到的上下文信息，可以极大丰富模型对威胁情报文本的语义表达。(b)融合多个句法信息，如词性、语法成分、依赖关系等。添加新特征，增强模型对标签的推理能力，缓解OOV(Out of Vocabulary)问题。(c)添加全局注意力机制层，增强模型对远距离特征的获取能力，缓解实体稀疏问题。