- 专利标题: 一种基于Transformer模型的机器翻译模型优化方法
-
申请号: CN202110361317.8申请日: 2021-04-02
-
公开(公告)号: CN113051938A公开(公告)日: 2021-06-29
- 发明人: 孙亚楠 , 冯犇 , 吴杰 , 李思毅
- 申请人: 四川大学
- 申请人地址: 四川省成都市武侯区一环路南一段24号
- 专利权人: 四川大学
- 当前专利权人: 四川大学
- 当前专利权人地址: 四川省成都市武侯区一环路南一段24号
- 代理机构: 成都正华专利代理事务所
- 代理商 李蕊
- 主分类号: G06F40/58
- IPC分类号: G06F40/58 ; G06F40/284 ; G06F40/253 ; G06F40/30 ; G06N3/00
摘要:
本发明公开了一种基于Transformer模型的机器翻译模型优化方法,通过设计变长编码和候选块让Transformer个体具有不同的结构和参数,为词向量的学习提供多种候选模型;而后设计了交叉变异策略让Transformer个体能够进行信息交流,让处理词向量的优秀结构或参数可以遗传给下一代;之后设计了环境选择策略产生下一代Transformer个体,淘汰学习词向量效果相对较差的模型,保留学习词向量效果较为优秀的模型;之后不断迭代演化搜索找到学习词向量效果最优的Transformer模型,用于最终解决机器翻译任务,使得Transformer模型能够更好的学习机器翻译任务中的词向量表达,提高机器翻译任务的精度。
公开/授权文献
- CN113051938B 一种基于Transformer模型的机器翻译模型优化方法 公开/授权日:2022-03-01