Invention Grant
- Patent Title: 基于卷积神经网络的图像描述方法、计算机可读存储介质、电子设备
-
Application No.: CN201910393359.2Application Date: 2019-05-13
-
Publication No.: CN110288665BPublication Date: 2021-01-15
- Inventor: 郑向涛 , 卢孝强 , 吴思远
- Applicant: 中国科学院西安光学精密机械研究所
- Applicant Address: 陕西省西安市高新区新型工业园信息大道17号
- Assignee: 中国科学院西安光学精密机械研究所
- Current Assignee: 中国科学院西安光学精密机械研究所
- Current Assignee Address: 陕西省西安市高新区新型工业园信息大道17号
- Agency: 西安智邦专利商标代理有限公司
- Agent 郑丽红
- Main IPC: G06T9/00
- IPC: G06T9/00 ; G06N3/04 ; G06N3/08
Abstract:
本发明提供一种基于卷积神经网络的图像描述方法、计算机可读存储介质、电子设备,解决现有递归神经网络方法不能并行处理序列信号以及运算耗时的问题。该方法包括以下步骤:1)将卷积神经网络预训练好;2)提取图像的全局特征和局部特征,将图像的全局特征和局部特征投影到多模态映射空间中;3)对步骤2)中多模态映射空间下的图像表达进行卷积编码;4)单词特征表达;5)对步骤4)的描述语句进行卷积编码,6)计算注意力,得到输入图像对应生成单词的概率;7)构建输入输出之间的目标损失函数,利用损失函数进行神经网络训练,得到神经网络的位置参数;8)将测试图像输入训练的神经网络系统,得到测试图片对应的描述性自然语句。
Public/Granted literature
- CN110288665A 基于卷积神经网络的图像描述方法、计算机可读存储介质、电子设备 Public/Granted day:2019-09-27
Information query