发明公开
- 专利标题: 基于预训练知识增强的低资源神经机器翻译系统构建方法
-
申请号: CN202211583954.0申请日: 2022-12-09
-
公开(公告)号: CN115879481A公开(公告)日: 2023-03-31
- 发明人: 付鹏飞 , 周星宏
- 申请人: 沈阳雅译网络技术有限公司
- 申请人地址: 辽宁省沈阳市和平区三好街78号东软电脑城C座11层
- 专利权人: 沈阳雅译网络技术有限公司
- 当前专利权人: 沈阳雅译网络技术有限公司
- 当前专利权人地址: 辽宁省沈阳市和平区三好街78号东软电脑城C座11层
- 代理机构: 沈阳新科知识产权代理事务所
- 代理商 李晓光
- 主分类号: G06F40/58
- IPC分类号: G06F40/58 ; G06N5/02 ; G06N3/0455 ; G06N3/08
摘要:
本发明公开一种基于预训练知识增强的低资源神经机器翻译系统构建方法,在网络上获取Transformer编码器的预训练语言模型;获取需要构建神经机器翻译系统的低资源语言对数据集并清洗;获取语言分析工具对训练数据进行分析,掩码关键词,并使用处理过的数据微调预训练语言模型;搭建神经机器翻译模型,使用Transformer解码器并随机初始化参数作为神经机器翻译模型解码器;逐步训练神经机器翻译模型的编码器和解码器;将训练好的神经机器翻译模型部署在高性能云服务器上,并搭建前端及后端处理程序,完成整个机器翻译系统构建。本发明在多个方法上取得性能提升,能够在两阶段训练的基础上,进一步提升机器翻译模型的性能。