公开(公告)号：CN110674648A

公开(公告)日：2020-01-10

申请号：CN201910933203.9

申请日：2019-09-29

Applicant: 厦门大学

Inventor： 苏劲松 ,  曾嘉莉 ,  罗斌 ,  尹永竞 ,  王安特 ,  辛春蕾

IPC: G06F40/58 ,  G06N3/08

Abstract: 基于迭代式双向迁移的神经网络机器翻译模型，涉及自然语言处理。通过建立源领域和目标领域之间的多次双向迁移，利用双方的有效交互和相关知识的有益流动，不断完善不同领域的模型能力，从而达到更佳的翻译效果。由一对一的领域迁移推广到多对一的领域迁移，并提出了多对一的领域迁移中，不同源领域到目标领域的迁移顺序问题的有效解决方案，使模型能够更充分地利用多领域的语料资源。训练过程利用知识蒸馏的方法来更有效地指导模型的收敛，避免了灾难性遗忘和知识稀疏问题，实现两个领域翻译模型的“双赢”。

公开(公告)号：CN113762474A

公开(公告)日：2021-12-07

申请号：CN202110991119.X

申请日：2021-08-26

Applicant: 厦门大学

Inventor： 苏劲松 ,  康立言 ,  曾嘉莉

IPC: G06N3/04 ,  G06N3/08 ,  G06F40/166 ,  G06F40/20

Abstract: 本发明提供自适应主题的故事结尾生成方法、存储介质，方法包括以下步骤：初始化故事结尾生成模型；随机采样一主题特定主题的数据，并将数据划分成训练集和测试集；通过参数生成器生成所述一主题特定主题对应的主题特征参数；通过主题适配器将所述主题特征参数与从故事结尾生成模型中提取出的主题共享参数结合，生成对应所述一主题特定主题的故事结尾生成模型参数；生成每个主题特定主题的故事结尾生成模型参数。本发明通过生成主题相关的统一模型偏移参数，作用于统一模型中的主题共享参数部分，使的统一模型在保留主题共享知识的同时，也能融入元学习框架生成的主题特定指导，加快统一模型对目标主题的适应，最终实现对低资源主题的自适应故事结尾生成。

公开(公告)号：CN110674648B

公开(公告)日：2021-04-27

申请号：CN201910933203.9

申请日：2019-09-29

Applicant: 厦门大学

Inventor： 苏劲松 ,  曾嘉莉 ,  罗斌 ,  尹永竞 ,  王安特 ,  辛春蕾

IPC: G06F40/58 ,  G06N3/08

Abstract: 基于迭代式双向迁移的神经网络机器翻译模型，涉及自然语言处理。通过建立源领域和目标领域之间的多次双向迁移，利用双方的有效交互和相关知识的有益流动，不断完善不同领域的模型能力，从而达到更佳的翻译效果。由一对一的领域迁移推广到多对一的领域迁移，并提出了多对一的领域迁移中，不同源领域到目标领域的迁移顺序问题的有效解决方案，使模型能够更充分地利用多领域的语料资源。训练过程利用知识蒸馏的方法来更有效地指导模型的收敛，避免了灾难性遗忘和知识稀疏问题，实现两个领域翻译模型的“双赢”。

公开(公告)号：CN107423290A

公开(公告)日：2017-12-01

申请号：CN201710257328.5

申请日：2017-04-19

Applicant: 厦门大学

Inventor： 苏劲松 ,  曾嘉莉 ,  尹永竞

IPC: G06F17/28 ,  G06N3/02

Abstract: 一种基于层次结构的神经网络机器翻译模型，涉及基于深度学习的自然语言处理。使用词语对齐工具GIZA++对训练平行句对进行词对齐，然后根据标点符号和词语对齐信息将源语言句子分为单调翻译的子句；使用上述得到的子句数据来训练子句分类器；对平行句对的源语言句子进行层次结构建模；对平行句对的目标语言句子进行层次结构解码。将句子分成单调翻译的子句，然后进行词-子句-句子的层次建模，注意机制和解码：底层循环神经网络编码子句的语义表示，上层循环神经网络编码句子的信息，底层注意致力于子句内部的词级别对齐，上层注意机制则致力于子句级别的对齐。