-
公开(公告)号:CN113505611A
公开(公告)日:2021-10-15
申请号:CN202110780410.2
申请日:2021-07-09
申请人: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
摘要: 本发明提供一种在生成对抗中获得更好的语音翻译模型的训练方法和系统。该方法包括收集训练数据,利用训练数据中的转录‑翻译数据对训练MT模型;利用收缩机制对ST模型的输入长度进行压缩,使得语音和文本的编码层输出长度近似相同,包括:先采用CTC损失帮助ST模型预测语音的转录,捕捉语音的声学信息;然后利用CTC存在的峰值现象去除ST模型编码层状态中的冗余信息;采用对抗器通过“最大最小”的方法,使ST模型的编码层输出分布拟合MT模型的编码层输出分布,帮助ST模型捕捉到更多的语义信息;以CTC损失作为附加损失,结合端到端ST模型的损失对整个语音翻译模型进行联合训练。本发明能提升语音翻译模型的识别性能,进而提高语音翻译效率和质量。
-
公开(公告)号:CN112685594B
公开(公告)日:2022-10-04
申请号:CN202011550159.2
申请日:2020-12-24
申请人: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
IPC分类号: G06F16/632 , G06F16/683 , G06F40/284 , G10L25/30
摘要: 本发明属于语音检索技术领域,特别涉及一种基于注意力的弱监督语音检索方法及系统,方法包含:提取文本关键词并转换为关键词特征向量,并对音频数据进行特征提取获取音频特征向量;使用注意力机制将关键词特征向量和音频特征向量进行融合,获取语音检索特征向量;将语音检索特征向量送入已训练优化的关键词识别模块识别,以检测文本关键词是否出现在语音数据中。本发明通过使用注意力机制来获得融合文本特征向量和音频特征向量的语音检索特征向量,使用弱监督标注数据即可训练优化识别模型,提升检索效率和准确性。
-
公开(公告)号:CN112686249A
公开(公告)日:2021-04-20
申请号:CN202011528278.8
申请日:2020-12-22
申请人: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
摘要: 本发明提供一种基于对抗补丁的Grad‑CAM攻击方法。该方法包括:步骤1:初始化扰动z,并根据设定的二值化掩码m在输入图像x上生成对抗补丁,得到含有对抗补丁的对抗图像x′;步骤2:采用Grad‑CAM方法生成所述对抗图像x′的显著图;步骤3:计算损失函数;其中,所述损失函数的优化目标包括:使得所述对抗图像x′的类别和所述输入图像x的原始类别相一致;引导所述对抗图像x′的显著图偏向对抗补丁所在区域;步骤4:利用计算得到的损失函数更新扰动z以生成新的对抗图像x′;步骤5:重复步骤2至步骤4,直至达到设定的迭代次数,将此时的对抗图像x′作为最终的对抗图像。
-
公开(公告)号:CN112685594A
公开(公告)日:2021-04-20
申请号:CN202011550159.2
申请日:2020-12-24
申请人: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
IPC分类号: G06F16/632 , G06F16/683 , G06F40/284 , G10L25/30
摘要: 本发明属于语音检索技术领域,特别涉及一种基于注意力的弱监督语音检索方法及系统,方法包含:提取文本关键词并转换为关键词特征向量,并对音频数据进行特征提取获取音频特征向量;使用注意力机制将关键词特征向量和音频特征向量进行融合,获取语音检索特征向量;将语音检索特征向量送入已训练优化的关键词识别模块识别,以检测文本关键词是否出现在语音数据中。本发明通过使用注意力机制来获得融合文本特征向量和音频特征向量的语音检索特征向量,使用弱监督标注数据即可训练优化识别模型,提升检索效率和准确性。
-
公开(公告)号:CN115063297A
公开(公告)日:2022-09-16
申请号:CN202210760864.8
申请日:2022-06-30
申请人: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
摘要: 本发明属于超分辨率图像重建技术领域,特别涉及一种基于参数重构的图像超分辨率重建方法及系统,通过构建用于对输入图像数据中的低分辨率图像进行特征提取并依据提取特征进行图像重建的超分辨率重建网络,其中,超分辨率重建网络中,首先利用标准卷积来提取输入图像数据的浅层特征,然后利用参数重构的深度可分离卷积提取浅层特征中的深层特征,利用深层特征进行图像重建;利用收集的样本数据进行网络训练;并针对待重建的图像数据,利用训练后的超分辨率重建网络进行特征提取和图像重建。本发明通过参数重构进行特征提取,能够在减少网络参数量和计算量的同时,实现更深层次的特征提取,提升重建图像质量,便于实际场景应用。
-
公开(公告)号:CN112686249B
公开(公告)日:2022-01-25
申请号:CN202011528278.8
申请日:2020-12-22
申请人: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
摘要: 本发明提供一种基于对抗补丁的Grad‑CAM攻击方法。该方法包括:步骤1:初始化扰动z,并根据设定的二值化掩码m在输入图像x上生成对抗补丁,得到含有对抗补丁的对抗图像x′;步骤2:采用Grad‑CAM方法生成所述对抗图像x′的显著图;步骤3:计算损失函数;其中,所述损失函数的优化目标包括:使得所述对抗图像x′的类别和所述输入图像x的原始类别相一致;引导所述对抗图像x′的显著图偏向对抗补丁所在区域;步骤4:利用计算得到的损失函数更新扰动z以生成新的对抗图像x′;步骤5:重复步骤2至步骤4,直至达到设定的迭代次数,将此时的对抗图像x′作为最终的对抗图像。
-
公开(公告)号:CN112735460B
公开(公告)日:2021-10-29
申请号:CN202011557418.4
申请日:2020-12-24
申请人: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
IPC分类号: G10L21/0216 , G10L25/30 , G10L15/20
摘要: 本发明属于语音增强技术领域,特别涉及一种基于时频掩蔽值估计的波束成形方法及系统,方法包含:获取多通道语音序列,通过傅里叶变换提取幅度谱特征和空域特征;对幅度谱特征通过对数变换得到多通道语音频谱特征序列,送入预先训练优化的神经网络模型获取复值时频掩蔽值;将复值时频掩蔽值转换为语音存在概率,利用概率模型获取时频掩蔽值;由时频掩蔽值及多通道语音特征序列计算语音信号协方差矩阵,对协方差矩阵进行特征值分解获取波束成形滤波器系数;结合波束成形滤波器系数,利用波束成形滤波器对多通道语音序列语音特征滤波处理,得到增强语音信号。本发明集成神经网络和空域聚类进行时频掩蔽值估计,提升波束形成和语音识别的性能。
-
公开(公告)号:CN114120367B
公开(公告)日:2023-06-13
申请号:CN202111432749.X
申请日:2021-11-29
申请人: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
IPC分类号: G06V40/10 , G06V40/20 , G06V10/74 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/08
摘要: 本发明属于图像识别处理技术领域,公开一种元学习框架下基于圆损失度量的行人重识别方法及系统,使用基于度量的元学习方式对行人重识别问题进行建模,同时引入改进的圆损失进行度量学习,实现了样本相似性自适应加权优化的目的。本发明在基于度量的元学习框架下,对行人重识别任务进行建模;通过引入圆损失并对其进行改进,以适应元度量学习的学习方式,对查询集和支持集之间的相似性分数进行自适应加权,改善样本的相似性优化性能,从而提升模型的训练效果。
-
公开(公告)号:CN113505611B
公开(公告)日:2022-04-15
申请号:CN202110780410.2
申请日:2021-07-09
申请人: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
摘要: 本发明提供一种在生成对抗中获得更好的语音翻译模型的训练方法和系统。该方法包括收集训练数据,利用训练数据中的转录‑翻译数据对训练MT模型;利用收缩机制对ST模型的输入长度进行压缩,使得语音和文本的编码层输出长度近似相同,包括:先采用CTC损失帮助ST模型预测语音的转录,捕捉语音的声学信息;然后利用CTC存在的峰值现象去除ST模型编码层状态中的冗余信息;采用对抗器通过“最大最小”的方法,使ST模型的编码层输出分布拟合MT模型的编码层输出分布,帮助ST模型捕捉到更多的语义信息;以CTC损失作为附加损失,结合端到端ST模型的损失对整个语音翻译模型进行联合训练。本发明能提升语音翻译模型的识别性能,进而提高语音翻译效率和质量。
-
公开(公告)号:CN114120367A
公开(公告)日:2022-03-01
申请号:CN202111432749.X
申请日:2021-11-29
申请人: 中国人民解放军战略支援部队信息工程大学 , 郑州信大先进技术研究院
IPC分类号: G06V40/10 , G06V40/20 , G06K9/62 , G06V10/74 , G06V10/774 , G06V10/764
摘要: 本发明属于图像识别处理技术领域,公开一种元学习框架下基于圆损失度量的行人重识别方法及系统,使用基于度量的元学习方式对行人重识别问题进行建模,同时引入改进的圆损失进行度量学习,实现了样本相似性自适应加权优化的目的。本发明在基于度量的元学习框架下,对行人重识别任务进行建模;通过引入圆损失并对其进行改进,以适应元度量学习的学习方式,对查询集和支持集之间的相似性分数进行自适应加权,改善样本的相似性优化性能,从而提升模型的训练效果。
-
-
-
-
-
-
-
-
-