Invention Grant
- Patent Title: 基于预训练模型的交叉聚焦损失的溯因推理方法
-
Application No.: CN202110841128.0Application Date: 2021-07-26
-
Publication No.: CN113283605BPublication Date: 2021-11-09
- Inventor: 陶建华 , 徐铭 , 杨国花 , 张大伟 , 刘通
- Applicant: 中国科学院自动化研究所
- Applicant Address: 北京市海淀区中关村东路95号
- Assignee: 中国科学院自动化研究所
- Current Assignee: 中国科学院自动化研究所
- Current Assignee Address: 北京市海淀区中关村东路95号
- Agency: 北京华夏泰和知识产权代理有限公司
- Agent 孙剑锋; 李永叶
- Main IPC: G06N5/04
- IPC: G06N5/04 ; G06N3/04

Abstract:
本发明提供基于预训练模型的交叉聚焦损失的溯因推理方法,包括:将观测对O1和O2与所有假设的结合,得到输入序列;将输入序列中的单一输入变量输入预训练模型,得到对应句子级别的特征矩阵,然后对特征矩阵的单词维度求和,得到特征向量;遍历输入序列中所有单一输入变量,得到特征向量序列;将特征向量序列输入双向长短期记忆网络,获取到分布式特征表示,再利用全连接层进行映射求和得到每个输入的分数;将输入序列中N个标签为真的值分别与所有标签为假的值组成N组,并进行组内softmax,得到交叉预测值;引入聚类因子和引入权重因子,改进FocalLoss,得到训练损失函数;优化所述训练损失函数,得到最优的溯因推理模型。
Public/Granted literature
- CN113283605A 基于预训练模型的交叉聚焦损失的溯因推理方法 Public/Granted day:2021-08-20
Information query