基于文字描述的单目标跟踪方法、装置、设备及存储介质

    公开(公告)号:CN112734803A

    公开(公告)日:2021-04-30

    申请号:CN202011642602.9

    申请日:2020-12-31

    申请人: 山东大学

    摘要: 本发明公开了基于文字描述的单目标跟踪方法、装置、设备及存储介质:对待跟踪视频按照设定帧数平均划分为若干个视频包;对文字描述提取出第一、二和三文字特征;对每个视频包的第n个采样帧分别提取第一、二和三视觉特征;基于每个视频包第n个采样帧的第一、第二和第三视觉特征分别对第一、第二和第三文字特征进行更新,得到更新后的第一、第二和第三文字特征;对待跟踪目标的样板图像,分别提取第四、第五和第六视觉特征;对搜索区域图像,分别提取第七,第八和第九视觉特征;将更新后的第一、第二和第三文字特征向量,分别与第四到第九视觉特征进行融合,得到融合特征;根据融合特征,得到待跟踪视频的当前视频包中每一帧的目标跟踪结果。

    一种基于机械臂的自主抓取与码垛方法及系统

    公开(公告)号:CN111331607B

    公开(公告)日:2021-04-23

    申请号:CN202010260136.1

    申请日:2020-04-03

    申请人: 山东大学

    IPC分类号: B25J9/16 B25J19/04 B65G61/00

    摘要: 本发明公开了一种基于机械臂的自主抓取与码垛方法及系统,获取有待码垛物体的抓取区域和码放区域的图像,将图像输入至自动抓取码放网络;自动抓取码放网络根据已学习的抓取策略和码放策略预测抓取位置和码放位置;自动抓取码放网络结合深度强化学习时,采用最大化未来奖励的期望总和的最优策略;机械臂根据预测结果选择抓取区域中所需的物体并将其抓取码放在当前和将来的状态中合适的位置。本公开的技术方案通过抓取码放网络(GSN)同时学习抓取策略和码放策略,可以使机械夹具从桌子上拾取待码放的物体并将其正确码放在恰当的位置上。

    基于拼图任务的无监督相关滤波目标跟踪方法及系统

    公开(公告)号:CN111415318A

    公开(公告)日:2020-07-14

    申请号:CN202010201902.7

    申请日:2020-03-20

    申请人: 山东大学

    摘要: 本发明涉及一种基于拼图任务的无监督相关滤波目标跟踪方法及系统。包括了离线预训练和在线微调两个阶段。在离线预训练阶段,基于拼图任务的神经网络的训练过程主要为无监督相关滤波算法训练和拼图任务训练两个任务结合。训练过程大体可分为四个部分:数据处理、深度特征提取、拼图任务训练、无监督相关滤波训练。本发明是在无监督相关滤波算法的训练中,同时引入对图像块位置索引的预测任务,以增加深度神经网络对物体细节特征的提取能力,并通过对不同层的特征进行融合使得算法兼顾语义信息和位置信息,准确性得到提升。

    基于自学习局部特征表征的视频行人再识别方法及系统

    公开(公告)号:CN111401267A

    公开(公告)日:2020-07-10

    申请号:CN202010195886.5

    申请日:2020-03-19

    申请人: 山东大学

    摘要: 本发明公开了一种基于自学习局部特征表征的视频行人再识别方法及系统,包括:分别获取两段设定时间段内包含待识别行人连续变化图像的视频信息;采用孪生网络结构分别对获取的两段视频信息进行处理,得到对齐的表征行人时空特征的矢量,通过对比得到的矢量信息,判断两段连续图像信息中的行人是否为同一个人,实现行人再识别。本发明提出的残差-循环神经网络,不仅能提取序列之间相关性,而且在结构上构成残差网络,解决了循环神经网络的梯度消失问题,加强空间特征和时间特征的融合。