- 专利标题: 基于预训练模型的交叉聚焦损失的溯因推理方法
-
申请号: CN202110841128.0申请日: 2021-07-26
-
公开(公告)号: CN113283605B公开(公告)日: 2021-11-09
- 发明人: 陶建华 , 徐铭 , 杨国花 , 张大伟 , 刘通
- 申请人: 中国科学院自动化研究所
- 申请人地址: 北京市海淀区中关村东路95号
- 专利权人: 中国科学院自动化研究所
- 当前专利权人: 中国科学院自动化研究所
- 当前专利权人地址: 北京市海淀区中关村东路95号
- 代理机构: 北京华夏泰和知识产权代理有限公司
- 代理商 孙剑锋; 李永叶
- 主分类号: G06N5/04
- IPC分类号: G06N5/04 ; G06N3/04
摘要:
本发明提供基于预训练模型的交叉聚焦损失的溯因推理方法,包括:将观测对O1和O2与所有假设的结合,得到输入序列;将输入序列中的单一输入变量输入预训练模型,得到对应句子级别的特征矩阵,然后对特征矩阵的单词维度求和,得到特征向量;遍历输入序列中所有单一输入变量,得到特征向量序列;将特征向量序列输入双向长短期记忆网络,获取到分布式特征表示,再利用全连接层进行映射求和得到每个输入的分数;将输入序列中N个标签为真的值分别与所有标签为假的值组成N组,并进行组内softmax,得到交叉预测值;引入聚类因子和引入权重因子,改进FocalLoss,得到训练损失函数;优化所述训练损失函数,得到最优的溯因推理模型。
公开/授权文献
- CN113283605A 基于预训练模型的交叉聚焦损失的溯因推理方法 公开/授权日:2021-08-20