公开(公告)号：CN112800785A

公开(公告)日：2021-05-14

申请号：CN202110392717.5

申请日：2021-04-13

申请人： 中国科学院自动化研究所

发明人： 宗成庆 ,  黄鑫 ,  张家俊 ,  周玉

IPC分类号： G06F40/58 ,  G06F40/295 ,  G06F40/126 ,  G06K9/00

摘要： 本发明提供一种多模态机器翻译方法、装置、电子设备和存储介质，所述方法包括：确定待翻译的源语言文本；将源语言文本输入至翻译模型中，得到翻译模型输出的目标语言文本；翻译模型是基于样本源语言文本和样本目标语言文本，以及与样本源语言文本匹配的样本图像，联合重建模型训练得到的；翻译模型与重建模型共用特征编码层，模型训练过程中特征编码层用于编码第一序列和第二序列，翻译模型基于第一序列的编码进行翻译，重建模型基于第二序列的编码进行重建，第一序列基于样本源语言文本确定，第二序列基于样本源语言文本中的各实体在样本图像中的区域图像和样本源语言文本的非实体确定，提高了质量提升的可解释性并且降低了翻译的复杂度。

公开(公告)号：CN112131861A

公开(公告)日：2020-12-25

申请号：CN202011341577.0

申请日：2020-11-25

申请人： 中国科学院自动化研究所

发明人： 周玉 ,  李梅 ,  向露 ,  宗成庆

IPC分类号： G06F40/205 ,  G06F40/284 ,  G06F40/242 ,  G06N3/04 ,  G06N3/08 ,  G06F16/332

摘要： 本发明属于任务型对话技术领域，具体涉及了一种基于层次化多头交互注意力的对话状态生成方法，旨在解决现有技术精度和准确度低以及成本高、效率低的问题。本发明包括：基于文本词典进行对话文本预处理；通过编码器进行各句子的独立编码，获得对话文本的上下文表示；对解码器输入应用自我注意力机制，获得当前时刻的解码器输入向量；应用多头交互式注意力机制，融合字级别和句子级别的上下文表示，获得对话文本当前时刻的上下文向量表示；结合当前时刻的解码器输入向量，通过非线性映射获得实体和状态作为对话文本的对话状态。本发明可以在无字级别标注信息的情况下取得非常好的效果，不仅节约了数据标注的成本，也提高了模型的精确性与精度。

公开(公告)号：CN111401081A

公开(公告)日：2020-07-10

申请号：CN201811534845.3

申请日：2018-12-14

申请人： 波音公司 ,  中国科学院自动化研究所

发明人： 张家俊 ,  周龙 ,  周玉 ,  宗成庆 ,  杨里

IPC分类号： G06F40/58 ,  G06N3/02

摘要： 本发明涉及神经网络机器翻译方法、模型及模型形成方法。形成神经网络机器翻译模型的方法包括：形成编码器，其包括第一多头注意力模型；形成解码器，其包括第二多头注意力模型和未来信息模型，未来信息模型表示当前预测单词和已经生成单词的第一注意力隐层表示和当前预测单词和未来可能的单词的第二注意力隐层表示的融合；通过编码器和解码器形成第一机器翻译模型；以及对第一机器翻译模型进行对源语言序列从左至右和从右至左的解码训练，以形成神经网络机器翻译模型，其中，第一多头注意力模型和未来信息模型为第二多头注意力模型提供输入。本发明解决了在机器翻译的过程中，在预测当前单词时，未来信息不能被充分利用的问题。

公开(公告)号：CN108647214B

公开(公告)日：2020-06-30

申请号：CN201810270468.0

申请日：2018-03-29

申请人： 中国科学院自动化研究所 ,  国家计算机网络与信息安全管理中心

发明人： 张家俊 ,  周龙 ,  马宏远 ,  杜翠兰 ,  张翠 ,  赵晓航 ,  宗成庆

IPC分类号： G06F40/58 ,  G06F40/289 ,  G06N3/04

摘要： 本发明涉及语言处理领域，提出了一种基于深层神经网络翻译模型的解码方法，旨在解决机器翻译模型中模型训练复杂度高、训练难度大解码速度慢等问题。该方法的具体实施方式包括：对待翻译语句进行分词处理，得到源语言词汇；步骤2，使用自动对齐工具对预设的翻译模型词汇表中的语料进行词对齐，得到与所述源语言词汇对齐的目标语言单词；步骤3，基于步骤2所得到的目标语言单词，确定出所述待翻译语句的目标端动态词汇表，根据预先构建的翻译模型，使用柱搜索方法解码出的语句作为所述翻译模型的输出；其中，所述翻译模型为基于门限残差机制和平行注意力机制的深层神经网络。本发明提升了模型翻译质量，提高了模型解码速度。

公开(公告)号：CN111291139A

公开(公告)日：2020-06-16

申请号：CN202010189960.2

申请日：2020-03-17

申请人： 中国科学院自动化研究所

发明人： 周玉 ,  孙建 ,  宗成庆

IPC分类号： G06F16/28 ,  G06F16/36 ,  G06N3/04 ,  G06N3/08

摘要： 本发明属于知识图谱领域，具体涉及一种基于注意力机制的知识图谱长尾关系补全方法、系统、装置，旨在解决传统的关系补全模型因长尾关系数目稀少导致对长尾关系预测产生过拟合的问题。本系统方法：获取待补全的知识图谱，并根据其实体之间的关系类型将其构建为第一知识图谱和第二知识图谱；获取第一知识图谱中融合邻域信息的实体向量表示，作为第一表示；根据第一表示对第二知识图谱中各实体进行向量化表示，并构建支撑集和查询集；通过预设的多种网络类型的长尾关系预测方法获取查询集中各实体对的关系类型标签，并补全各实体之间的关系。本发明通过对知识图谱中各实体的邻域信息进行融合，避免了长尾关系预测时过拟合的问题。

公开(公告)号：CN107423284B

公开(公告)日：2020-03-06

申请号：CN201710449875.3

申请日：2017-06-14

申请人： 中国科学院自动化研究所

发明人： 王少楠 ,  张家俊 ,  宗成庆

IPC分类号： G06F40/211 ,  G06F40/289 ,  G06F16/35

摘要： 本发明涉及自然语言处理技术领域，具体提出一种融合中文单词内部结构信息的句子表示的构建方法及系统，旨在解决单词内部结构信息利用率低的问题；所述构建方法包括：对训练语料中所有的中文复述句对进行分词处理，得到多个单词语料；对各所述单词语料进行预训练，得到预训练字向量和预训练词向量；整合每个单词语料中的所有预训练字向量和预训练词向量，获得对应单词语料的组合词向量；根据每个单词语料中的预训练词向量及所述组合词向量确定所述单词语料的最终词向量，所述最终词向量表征单词内部结构信息；将待处理句子中的各个单词语料的最终词向量进行整合，得到所述待处理句子的表示向量。本发明可以提高单词内部结构信息的利用率。

公开(公告)号：CN107480196B

公开(公告)日：2020-02-07

申请号：CN201710577334.9

申请日：2017-07-14

申请人： 中国科学院自动化研究所

发明人： 王少楠 ,  张家俊 ,  宗成庆

IPC分类号： G06F16/36

摘要： 本发明的多模态词汇表示方法包括分别计算待表示词汇在文本模态中的文本表示向量、以及待表示词汇在视觉模态中的图片表示向量；将文本表示向量输入预先建立的文本模态权重模型，得到文本表示向量在文本模态中的权重；将图片表示向量输入预先建立的视觉模态权重模型，得到图片表示向量在图片模态中的权重；根据文本表示向量、图片表示向量以及分别与文本表示向量和图片表示向量对应的权重，计算得到多模态词汇表示向量。其中，文本模态权重模型为输入为文本表示向量、输出为文本表示向量在对应文本模态中的权重的神经网络模型；视觉模态权重模型为输入为图片表示向量、输出为图片表示向量在对应视觉模态中的权重的神经网络模型。

公开(公告)号：CN110413752A

公开(公告)日：2019-11-05

申请号：CN201910661448.0

申请日：2019-07-22

申请人： 中国科学院自动化研究所

发明人： 向露 ,  白赫 ,  周玉 ,  宗成庆

IPC分类号： G06F16/332 ,  G06F16/35 ,  G06K9/62

摘要： 本发明属于人机对话技术领域，具体涉及一种基于对话逻辑的多轮口语理解方法、系统、装置，旨在解决现有多轮口语理解方法对历史对话数据利用率低的问题。本系统方法包括获取当前对话数据、历史对话数据；通过双向门控循环神经网络，分别将当前对话数据和历史对话数据编码成输入向量和记忆向量；根据所述输入向量、所述记忆向量，通过基于注意力机制的记忆检索方法生成语境知识向量；基于所述语境知识向量和所述当前对话数据，通过多轮口语理解模型获取当前对话数据的意图分类信息和语义槽填充信息。本发明可以在多轮口语理解中对历史对话数据高效的利用，提升语言理解在多轮场景下的性能。

公开(公告)号：CN110008480A

公开(公告)日：2019-07-12

申请号：CN201811479634.4

申请日：2018-12-05

申请人： 中国科学院自动化研究所

发明人： 王少楠 ,  孙静远 ,  宗成庆

IPC分类号： G06F17/28 ,  G06F16/36

摘要： 本发明涉及自然语言处理技术领域，具体涉及一种基于原型记忆的小数据词表示学习方法与系统及相关设备，目的在于解决传统的分布语义模型为了得到高质量的词表示，要求每个目标词具有大量的上下文样本的问题。本发明的基于原型记忆的小数据词表示学习方法包括：根据通用领域语料库，对键值记忆储存模型进行初始化；根据通用领域语料库学习词表示，并在键值记忆储存模型中存储词的原型表示；根据罕见词语料库，利用键值记忆储存模型，学习罕见词的词表示。本发明中原型表示的构建使得模型不再需要逐个记忆所有过往样本，同时具有更好的泛化能力。在利用大规模语料中完成知识积累后，在小规模语料中给定有限上下文的情况下，快速学习目标词的表示。

公开(公告)号：CN109597886A

公开(公告)日：2019-04-09

申请号：CN201811238086.6

申请日：2018-10-23

申请人： 中国科学院自动化研究所

发明人： 周玉 ,  朱军楠 ,  张家俊 ,  宗成庆

IPC分类号： G06F16/34

摘要： 本发明属于自然语言领域，具体提供了一种抽取生成混合型摘要生成方法，旨在解决现有的抽取式自动摘要方法和生成式自动摘要方法存在的问题。本发明提供了一种抽取生成混合型摘要生成方法，包括识别文档中的实体和数字并且利用预设的标签替换文档中的实体和数字；利用抽取式文档摘要抽取方法从进行标签替换后的文档中抽取多个第一关键句；分别对多个第一关键句进行压缩得到每个第一关键句对应的第二关键句；通过第一关键句的长度与预设的长度阈值的比较结果，可以选择性地将第一关键句或者第二关键句作为第一待合成关键句；根据所有第一待合成关键句生成文档的摘要。本发明提供的方法既可以生成符合文档语义表达的摘要，还可以保证可读性。