- 专利标题: 句向量模型的训练方法、文本语义增强的方法及装置
-
申请号: CN202310833852.8申请日: 2023-07-07
-
公开(公告)号: CN116579320B公开(公告)日: 2023-09-15
- 发明人: 朱权 , 郑重 , 王潇茵 , 杜婉茹 , 丁醒醒 , 李瑞群 , 孙鹏程
- 申请人: 航天宏康智能科技(北京)有限公司
- 申请人地址: 北京市海淀区阜成路14号
- 专利权人: 航天宏康智能科技(北京)有限公司
- 当前专利权人: 航天宏康智能科技(北京)有限公司
- 当前专利权人地址: 北京市海淀区阜成路14号
- 代理机构: 北京铭硕知识产权代理有限公司
- 代理商 王兆赓; 苏银虹
- 主分类号: G06F40/20
- IPC分类号: G06F40/20 ; G06F40/30 ; G06F18/214 ; G06F18/22 ; G06N3/048 ; G06N3/09
摘要:
本公开提供了一种句向量模型的训练方法、文本语义增强的方法及装置,其中训练方法包括:从预先构建的训练数据集获取预定数量的数据对;构建数据对中的输入序列,并将输入序列转换为对应的token序列;将token序列分别输入至嵌入层,得到对应的嵌入序列;将每种嵌入序列输入至自注意力层,得到每种嵌入序列的相关性序列;将每种相关性序列输入至池化层,得到用于表示每种相关性序列的初始向量;将每种初始向量输入至线性层,得到对应的目标向量;以最小化反映锚样本的方面词向量、正样本的句向量以及负样本的句向量的三元组损失函数为目标,对句向量模型进行训练。该过程降低了文本语义增强模型的复杂度,减少了人工成本和时间成本。
公开/授权文献
- CN116579320A 句向量模型的训练方法、文本语义增强的方法及装置 公开/授权日:2023-08-11