基于预训练知识增强的低资源神经机器翻译系统构建方法
摘要:
本发明公开一种基于预训练知识增强的低资源神经机器翻译系统构建方法,在网络上获取Transformer编码器的预训练语言模型;获取需要构建神经机器翻译系统的低资源语言对数据集并清洗;获取语言分析工具对训练数据进行分析,掩码关键词,并使用处理过的数据微调预训练语言模型;搭建神经机器翻译模型,使用Transformer解码器并随机初始化参数作为神经机器翻译模型解码器;逐步训练神经机器翻译模型的编码器和解码器;将训练好的神经机器翻译模型部署在高性能云服务器上,并搭建前端及后端处理程序,完成整个机器翻译系统构建。本发明在多个方法上取得性能提升,能够在两阶段训练的基础上,进一步提升机器翻译模型的性能。
0/0