-
公开(公告)号:CN109711465B
公开(公告)日:2022-12-06
申请号:CN201811603384.0
申请日:2018-12-26
Applicant: 西安电子科技大学
IPC: G06V10/82 , G06V10/764 , G06V10/774 , G06N3/04 , G06N3/08 , G06F40/284
Abstract: 本发明公开一种基于多尺度学习MLL和相邻时间节点联合注意力机制特征重建ASCA‑FR的图像字幕生成方法,主要解决现有技术中注意力模型在某时刻的输出仅考虑图像的特征集合和前一时刻的单词向量,只使用交叉熵损失函数训练网络所带来的生成字幕描述不准确、表述不流畅的问题。本发明的具体步骤如下:(1)生成自然图像测试集和训练集;(2)提取特征向量;(3)构建ASCA‑FR网络;(4)训练ASCA‑FR网络;(5)获得自然图像字幕;本发明利用MLL损失函数对构建的ASCA‑FR网络进行训练,使得生成的字幕描述准确且表述流畅。
-
公开(公告)号:CN108717531B
公开(公告)日:2021-06-08
申请号:CN201810487188.5
申请日:2018-05-21
Applicant: 西安电子科技大学
Abstract: 本发明公开一种基于Faster‑RCNN的人体姿态估计方法,其步骤为:输入图像;进行人体部件分类;获取人体姿态图像数据与标签;用训练集图像数据与标签,训练深度网络Faster R‑CNN模型;获得矩形检测框;确定空间约束关系的人体部件位置;确定关节点位置;连接相邻人体部件的关节点并输出,得到人体上半身的姿态。本发明将人体部件分为单一部件和组合部件,采用了Faster R‑CNN,使用脖子对应的位置坐标为基准,能够在图像背景干扰下得到高精度的人体上半身姿态估计。本发明具有鲁棒、高精度、应用场景广的人体姿态估计的优点。
-
公开(公告)号:CN109271895A
公开(公告)日:2019-01-25
申请号:CN201811007656.0
申请日:2018-08-31
Applicant: 西安电子科技大学
Abstract: 一种基于多尺度特征学习和特征分割的行人重识别方法,主要解决现有技术中仅有两种尺度带来的表征性差和利用人体部位识别提取人体特征不准确造成误差的问题。本发明的具体步骤如下:(1)构建多尺度特征学习模块;(2)构建特征分割模块;(3)构建特征学习网络;(4)对包含行人的视频进行预处理;(5)训练特征学习网络;(6)计算特征距离;(7)获得匹配图像;本发明利用多尺度特征学习模块提取行人图像多尺度特征,利用特征分割模块提取全局特征和粗细两种粒度的局部特征,所提特征可区分性好,鲁棒性高,使行人重识别达到较高的精度。
-
公开(公告)号:CN108717531A
公开(公告)日:2018-10-30
申请号:CN201810487188.5
申请日:2018-05-21
Applicant: 西安电子科技大学
Abstract: 本发明公开一种基于Faster-RCNN的人体姿态估计方法,其步骤为:输入图像;进行人体部件分类;获取人体姿态图像数据与标签;用训练集图像数据与标签,训练深度网络Faster R-CNN模型;获得矩形检测框;确定空间约束关系的人体部件位置;确定关节点位置;连接相邻人体部件的关节点并输出,得到人体上半身的姿态。本发明将人体部件分为单一部件和组合部件,采用了Faster R-CNN,使用脖子对应的位置坐标为基准,能够在图像背景干扰下得到高精度的人体上半身姿态估计。本发明具有鲁棒、高精度、应用场景广的人体姿态估计的优点。
-
公开(公告)号:CN109271895B
公开(公告)日:2022-03-04
申请号:CN201811007656.0
申请日:2018-08-31
Applicant: 西安电子科技大学
IPC: G06V40/10 , G06V20/52 , G06V20/40 , G06V10/80 , G06V10/82 , G06V10/26 , G06V10/764 , G06V10/774 , G06V10/74 , G06N3/04 , G06N3/08 , G06K9/62
Abstract: 一种基于多尺度特征学习和特征分割的行人重识别方法,主要解决现有技术中仅有两种尺度带来的表征性差和利用人体部位识别提取人体特征不准确造成误差的问题。本发明的具体步骤如下:(1)构建多尺度特征学习模块;(2)构建特征分割模块;(3)构建特征学习网络;(4)对包含行人的视频进行预处理;(5)训练特征学习网络;(6)计算特征距离;(7)获得匹配图像;本发明利用多尺度特征学习模块提取行人图像多尺度特征,利用特征分割模块提取全局特征和粗细两种粒度的局部特征,所提特征可区分性好,鲁棒性高,使行人重识别达到较高的精度。
-
公开(公告)号:CN109711465A
公开(公告)日:2019-05-03
申请号:CN201811603384.0
申请日:2018-12-26
Applicant: 西安电子科技大学
IPC: G06K9/62
Abstract: 本发明公开一种基于多尺度学习MLL和相邻时间节点联合注意力机制特征重建ASCA-FR的图像字幕生成方法,主要解决现有技术中注意力模型在某时刻的输出仅考虑图像的特征集合和前一时刻的单词向量,只使用交叉熵损失函数训练网络所带来的生成字幕描述不准确、表述不流畅的问题。本发明的具体步骤如下:(1)生成自然图像测试集和训练集;(2)提取特征向量;(3)构建ASCA-FR网络;(4)训练ASCA-FR网络;(5)获得自然图像字幕;本发明利用MLL损失函数对构建的ASCA-FR网络进行训练,使得生成的字幕描述准确且表述流畅。
-
公开(公告)号:CN110276396B
公开(公告)日:2022-12-06
申请号:CN201910544985.7
申请日:2019-06-21
Applicant: 西安电子科技大学
Abstract: 本发明公开了一种基于物体显著性和跨模态融合特征的图片描述生成方法,主要解决现有方法生成图片描述时物体类别表述不够准确以及图片和文字特征跨模态的问题,其实现步骤为:1.采用Faster R‑CNN+ResNet‑101网络,检测图片显著性区域的视觉特征和物体类别信息;2.采用特征融合算法生成文字特征和图片视觉特征的融合特征;3.注意力长短时记忆网络利用融合特征对图片的视觉特征及其物体类别信息进行加权;4.译码器长短时记忆网络利用加权后的视觉特征和物体类别信息时序地生成图片的自然语言描述。本发明具有生成图片描述物体类别表述准确,语句流畅的优点,可用于社交多媒体检索、盲人读图和辅助视频监控。
-
公开(公告)号:CN108615401B
公开(公告)日:2021-01-05
申请号:CN201810594592.2
申请日:2018-06-11
Applicant: 西安电子科技大学
Abstract: 本发明公开了一种基于深度学习的室内非均匀光线车位状况识别方法,主要解决现有识别方法在室内非均匀光线下鲁棒性差、识别精度低的问题。其实现步骤包括:1)输入图像;2)筛选图像数据集;3)对图像数据集中的图像进行计算处理,并根据计算结果获取图像标签;4)创建图像与标签一一对应的索引文件;5)搭建深度卷积神经网络CNN模型;6)划分训练集与测试集,并用训练集数据对神经网络进行训练,得到训练后的CNN模型;7)利用训练后的CNN模型获取识别结果。本发明增加了模型的鲁棒性、提高了识别精确度,且应用场景广泛,能够在复杂的室内非均匀光线中完成7分类,得到高精度的车位状况识别结果。
-
公开(公告)号:CN110276396A
公开(公告)日:2019-09-24
申请号:CN201910544985.7
申请日:2019-06-21
Applicant: 西安电子科技大学
Abstract: 本发明公开了一种基于物体显著性和跨模态融合特征的图片描述生成方法,主要解决现有方法生成图片描述时物体类别表述不够准确以及图片和文字特征跨模态的问题,其实现步骤为:1.采用Faster R-CNN+ResNet-101网络,检测图片显著性区域的视觉特征和物体类别信息;2.采用特征融合算法生成文字特征和图片视觉特征的融合特征;3.注意力长短时记忆网络利用融合特征对图片的视觉特征及其物体类别信息进行加权;4.译码器长短时记忆网络利用加权后的视觉特征和物体类别信息时序地生成图片的自然语言描述。本发明具有生成图片描述物体类别表述准确,语句流畅的优点,可用于社交多媒体检索、盲人读图和辅助视频监控。
-
公开(公告)号:CN108615401A
公开(公告)日:2018-10-02
申请号:CN201810594592.2
申请日:2018-06-11
Applicant: 西安电子科技大学
CPC classification number: G08G1/14 , G06K9/00812 , G06K9/2027 , G06K9/6256 , G06N3/0454 , G06N3/08
Abstract: 本发明公开了一种基于深度学习的室内非均匀光线车位状况识别方法,主要解决现有识别方法在室内非均匀光线下鲁棒性差、识别精度低的问题。其实现步骤包括:1)输入图像;2)筛选图像数据集;3)对图像数据集中的图像进行计算处理,并根据计算结果获取图像标签;4)创建图像与标签一一对应的索引文件;5)搭建深度卷积神经网络CNN模型;6)划分训练集与测试集,并用训练集数据对神经网络进行训练,得到训练后的CNN模型;7)利用训练后的CNN模型获取识别结果。本发明增加了模型的鲁棒性、提高了识别精确度,且应用场景广泛,能够在复杂的室内非均匀光线中完成7分类,得到高精度的车位状况识别结果。
-
-
-
-
-
-
-
-
-