一种实体识别方法、装置、设备及存储介质

    公开(公告)号:CN112926327B

    公开(公告)日:2022-05-20

    申请号:CN202110230354.5

    申请日:2021-03-02

    摘要: 本申请提供了一种实体识别方法、装置、设备及存储介质,该方法包括:获取原始威胁情报文本;针对每一原始威胁情报文本,按照分词所属实体的实体类型,对该原始威胁情报文本中的每一个分词进行标记,得到训练样本;将训练样本输入实体识别模型,利用该训练样本中的每一个分词以及该分词对应的所述实体标记,对该实体识别模型进行训练,得到训练好的实体识别模型,其中,实体识别模型在训练过程中使用的损失函数用于减小所属实体标记相同的分词之间的空间距离以及增大所属实体标记不同的分词之间的空间距离;将待识别的威胁情报文本输入训练好的实体识别模型中,得到实体识别结果。可以提高对威胁情报领域内特定类型实体的识别准确度。

    一种面向网络威胁情报的标注语料生成方法及电子装置

    公开(公告)号:CN111859966B

    公开(公告)日:2022-04-15

    申请号:CN202010535333.X

    申请日:2020-06-12

    摘要: 本发明提供一种面向网络威胁情报的标注语料生成方法及电子装置,包括:提取结构化威胁情报数据训练集中的安全实体,将各结构化威胁情报数据映射为 三元组,得到头实体集合与尾实体集合;提取待标注文本中的安全实体,获取包含至少一个属于头实体集合的安全实体与至少一个属于尾实体集合的安全实体的句子;判断句子中包含的关系类型;对所有句子的各 三元组进行标注,得到初始标注数据集,进而得到去噪标注数据集。本发明根据远程监督理论,利用已有结构化网络威胁情报数据对未标注语料进行标注,生成大规模训练语料,并提出自动去噪和交叉校验方法解决标注语料存在噪音数据的问题。

    一种面向网络威胁情报的标注语料生成方法及电子装置

    公开(公告)号:CN111859966A

    公开(公告)日:2020-10-30

    申请号:CN202010535333.X

    申请日:2020-06-12

    摘要: 本发明提供一种面向网络威胁情报的标注语料生成方法及电子装置,包括:提取结构化威胁情报数据训练集中的安全实体,将各结构化威胁情报数据映射为 三元组,得到头实体集合与尾实体集合;提取待标注文本中的安全实体,获取包含至少一个属于头实体集合的安全实体与至少一个属于尾实体集合的安全实体的句子;判断句子中包含的关系类型;对所有句子的各 三元组进行标注,得到初始标注数据集,进而得到去噪标注数据集。本发明根据远程监督理论,利用已有结构化网络威胁情报数据对未标注语料进行标注,生成大规模训练语料,并提出自动去噪和交叉校验方法解决标注语料存在噪音数据的问题。