-
公开(公告)号:CN113177539A
公开(公告)日:2021-07-27
申请号:CN202110732419.6
申请日:2021-06-30
Applicant: 之江实验室
Abstract: 本发明公开了一种遮挡行人特征提取与重识别方法,其中在利用全局特征提取网络对行人全局特征提取时,创新性嵌入了有效感受野提取模型以及特征激发模型,从而极大地提升了行人特征的代表性与可区分度。通过PartialReID以及PartialiLids数据集测试,本发明证明了上述两模型在处理遮挡行人重识别问题上的有效性以及先进性,对ReID技术的推广与实际场景应用有着积极意义。
-
公开(公告)号:CN112257684A
公开(公告)日:2021-01-22
申请号:CN202011417661.6
申请日:2020-12-07
Applicant: 之江实验室
Abstract: 本发明公开了一种基于实时视频流的跨摄像头全局行人跟踪方法。该方法主要包括以下五个步骤:多摄像头监控系统的建立,单摄像头下行人特征提取与跟踪,摄像头间行人特征信息传递,跨摄像头行人特征对比匹配以及跨摄像头行人持续稳定跟踪。本发明的方法可以实现室内场景下较密集人流的行人全局实时跟踪,对于行人轨迹监控及机器视觉有着较大的现实意义。
-
公开(公告)号:CN116330306B
公开(公告)日:2023-08-15
申请号:CN202310631265.0
申请日:2023-05-31
Applicant: 之江实验室
IPC: B25J9/16
Abstract: 本说明书公开了一种物体的抓取方法、装置、存储介质及电子设备,预先建立通用模型库,获取目标物体的深度图像及普通图像,以确定该目标物体的特征,根据该目标物体的特征,在预先建立的通用模型库中确定出与该目标物体匹配的通用模型,作为目标通用模型,根据该目标物体的特征及该目标通用模型,建立该目标物体的三维点云模型,以确定该目标物体的姿态,再根据该姿态及该三维点云模型,确定该目标物体的抓取点,根据该抓取点控制抓取设备抓取该目标物体。本方法通过目标物体的不同类型的图像,确定目标物体的特征,根据该特征及目标通用模型确定目标物体的姿态,以确定抓取点,根据该抓取点抓取目标物体,提高了抓取未知物体的准确性和稳定性。
-
公开(公告)号:CN115933387A
公开(公告)日:2023-04-07
申请号:CN202211493655.8
申请日:2022-11-25
Applicant: 之江实验室
IPC: G05B13/04 , G06V10/774 , G06V10/82 , G06N3/0475 , G06N3/096 , G06T7/80
Abstract: 本发明涉及一种基于视觉语言预训练模型的机器人操控方法、装置及介质,所述方法包括:获取实时的视觉感知信息和自然语言指令,将该视觉感知信息和自然语言指令作为一操控策略深度学习网络模型的输入,获得对应的机器人动作指令;其中,所述操控策略深度学习网络模型的训练过程包括以下步骤:搭建机器人操控的仿真环境,在该仿真环境中生成第一训练数据集,构建包含视觉语言预训练的操控策略深度学习网络模型对操控策略深度学习网络模型进行预训练;采集真实场景数据集并处理,生成第二训练数据集,对经预训练的操控策略深度学习网络模型进行小样本迁移训练,微调模型参数,获得最终的操控策略深度学习网络模型。与现有技术相比,本发明具有可方便实现多任务作业、具有泛化能力等优点。
-
公开(公告)号:CN115862130A
公开(公告)日:2023-03-28
申请号:CN202211433342.3
申请日:2022-11-16
Applicant: 之江实验室
IPC: G06V40/20 , G06V40/10 , G06V10/40 , G06V10/764 , G06V10/774 , G06V20/52 , G06V10/82 , G06V20/40 , G06N3/0464 , G06N3/047 , G06N3/084
Abstract: 基于人体姿态及其躯干运动场的行为识别方法,包括:获取多人人体彩色图像作为输入;采用目标检测网络从所述多人人体彩色图像中检测二维人体包围框,采用二维人体姿态估计网络从截取的图像中计算二维人体姿态;基于二维人体姿态分别计算关键点热图和躯干运动场,拼接这两种模态作为人体姿态表征;将人体姿态表征作为输入,建立姿态网络用于提取人体行为特征,输出分类器中概率最大的行为类别;采集多人人体彩色图像序列、二维人体姿态以及对应的类别标签作为训练数据集,采用随机梯度下降的优化方法对姿态网络进行预训练优化。本发明减少了复杂背景下行为动作在时间序列的歧义性,提高了低采样帧率下的行为识别的准确率。
-
公开(公告)号:CN113408428B
公开(公告)日:2023-03-14
申请号:CN202110690143.X
申请日:2021-06-22
Applicant: 之江实验室
IPC: G06V40/10 , G06V10/28 , G06V10/46 , G06V10/764 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种行人图像不变性特征提取和无监督行人重识别方法与装置,通过模型分离实现神经网络部分知识迁移,从辅助模型中提取行人图像的行人主体(图像前景)的不变性特征表达;根据行人主体的不变性特征,利用K远邻聚类算法估计行人图像中潜在的相同行人,构建同一行人不同背景的联系,挖掘行人图像的背景风格的不变性特征表达;将上述的行人图像中行人主体和背景风格的不变性特征表达进行融合,得到输出特征,用于判别行人身份,进行行人重识别。本发明在多个行人重识别数据集上超过目前最好的基于无监督迁移学习的算法,解决了相关技术中提到的行人图像的背景风格差异显著,导致迁移学习效率低下的问题。
-
公开(公告)号:CN115578461B
公开(公告)日:2023-03-10
申请号:CN202211419607.4
申请日:2022-11-14
Applicant: 之江实验室
Abstract: 本发明公开了一种基于双向RGB‑D特征融合的物体姿态估计方法及装置,该方法的核心创新点为特征双向融合模块,通过将RGB与点云特征投影到标准空间以实现对齐,互补和相互增强的作用,提升了最终RGB‑D特征的显著性与代表性。此外,本发明还创新性地引入了感兴趣区域检测,特征恒等映射与残差融合,多任务协同训练,关键点投票与聚类,最小二乘法姿态解算等关键方法,极大改善了传统物体六自由度姿态估计中存在的抗干扰能力弱,精度不足等痛点问题。经多个实际场景测试,本发明可在杂乱环境下,高鲁棒性和高精度地实现对遮挡物体的六自由度姿态估计。
-
公开(公告)号:CN115546829A
公开(公告)日:2022-12-30
申请号:CN202211187402.8
申请日:2022-09-28
Applicant: 之江实验室
Abstract: 本发明公开了基于ZED立体相机的行人空间信息感知方法及装置,主要用于展厅等公共场景下导览机器人对行人的空间位置及移动速度的智能感知。利用ZED双目视觉相机采集场景下的实时数据并上传至云端服务器;将预处理后RGB数据输入到部署好的人体关键点检测网络获取人体关键点二维信息,根据行人上半身主干区域的人体二维关键点信息生成行人包围框;对连续多帧下的多目标行人进行持续跟踪;结合点云数据获取相应区域的人体关键点三维空间坐标,并计算行人空间位置及移动速度;最后导览机器人根据获取到的行人空间信息进行本体移动控制,完成自主跟随及避障等智能导览任务,从而增加导览机器人的灵活性,提升参观者的交互体验。
-
公开(公告)号:CN112598709B
公开(公告)日:2022-11-01
申请号:CN202011559927.0
申请日:2020-12-25
Applicant: 之江实验室
Abstract: 本发明公开了一种基于视频流的行人运动速度智能感知方法,该方法包括:采用摄像头标定方法获取摄像头内部参数和外部参数,建立图像坐标系到空间坐标系的坐标转换模型;获取监控摄像头下的实时视频流并进行行人目标检测及跟踪,得到行人ID和相应的图像坐标系下的行人检测框粗定位结果;利用人体部件分割模型对得到的行人目标进行部件分割,获取图像坐标系下的行人脚点精定位结果;利用坐标转换模型实现行人脚点从图像坐标系到真实世界中的空间坐标系的位置信息解算,结合视频流帧间隔时间计算行人的运动速度,实现基于摄像头视频流的行人运动速度智能感知方法。
-
公开(公告)号:CN113408428A
公开(公告)日:2021-09-17
申请号:CN202110690143.X
申请日:2021-06-22
Applicant: 之江实验室
Abstract: 本发明公开了一种行人图像不变性特征提取和无监督行人重识别方法与装置,通过模型分离实现神经网络部分知识迁移,从辅助模型中提取行人图像的行人主体(图像前景)的不变性特征表达;根据行人主体的不变性特征,利用K远邻聚类算法估计行人图像中潜在的相同行人,构建同一行人不同背景的联系,挖掘行人图像的背景风格的不变性特征表达;将上述的行人图像中行人主体和背景风格的不变性特征表达进行融合,得到输出特征,用于判别行人身份,进行行人重识别。本发明在多个行人重识别数据集上超过目前最好的基于无监督迁移学习的算法,解决了相关技术中提到的行人图像的背景风格差异显著,导致迁移学习效率低下的问题。
-
-
-
-
-
-
-
-
-