-
公开(公告)号:CN111190981A
公开(公告)日:2020-05-22
申请号:CN201911354167.7
申请日:2019-12-25
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本申请涉及一种三维语义地图的构建方法、装置、电子设备及存储介质,该方法通过获取环境图像集合,并根据已训练的语义分割模型对环境图像集合进行语义分割,得到语义图像序列。将语义图像序列的每帧语义图像投射到预先建立的三维坐标系上,得到第一点云集合,第一点云集合中的第一点云对应每帧语义图像。对第一点云集合进行滤波,得到滤波后的第一点云集合;对滤波后的第一点云集合中的第一点云进行聚类处理,得到第二点云集合;对第二点云集合进行滤波,得到三维语义地图。本申请将彩色图像序列和深度图像序列结合作为语义分割模型的输入,如此,可以提升语义预测能力,且基于带语义的点云分层次地进行滤波,可以节约缓存、提升实时性。
-
公开(公告)号:CN118052841B
公开(公告)日:2025-05-06
申请号:CN202410070464.3
申请日:2024-01-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/20 , G06T7/10 , G06T7/50 , G06N3/0499 , G06N3/08
Abstract: 本发明涉及一种融合语义的无监督深度估计与视觉里程计方法和系统,其中,方法包括:接收视频序列;将所述视频序列输入至预测模型,得到预测结果;其中,所述预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;语义分割子网络,用于对输入的目标图像和重建目标图像进行语义分割,得到用于构造语义重投影损失的目标图像语义分割结果和重建目标图像语义分割结果;语义掩码模块,用于根据目标图像语义分割结果构造语义掩码;重投影模块,用于根据深度图、相对位姿和语义掩码对源图像进行重投影操作,得到重建目标图像。本发明能够增强重投影损失的效用。
-
公开(公告)号:CN119919677A
公开(公告)日:2025-05-02
申请号:CN202411933696.3
申请日:2024-12-26
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/44 , G06V10/46 , G06V10/82 , G06V10/94 , G06N3/0455 , G06N3/0464 , G06N3/063
Abstract: 本发明涉及一种实时SuperPoint网络特征提取与描述方法及装置。其中方法包括:利用SuperPoint卷积神经网络模块对输入图像进行特征提取,并生成用于进行特征点提取的第一特征张量,以及用于进行描述子计算的第二特征张量;构建特征点提取模块基于所述第一特征张量提取特征点坐标,并实时输出所述特征点坐标和扫描坐标;构建描述子计算模块实时获取所述特征点坐标、所述扫描坐标,并根据所述特征点坐标和所述扫描坐标从所述第二特征张量中选择对应位置的张量数据进行描述子计算。本发明能够实现特征点提取和描述子计算的并行处理,提高了SuperPoint网络特征提取与描述的实时性。
-
公开(公告)号:CN119850913A
公开(公告)日:2025-04-18
申请号:CN202411914225.8
申请日:2024-12-24
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于多相机装置的动态目标检测方法及系统。其中,动态目标检测方法应用于包括彩色相机、微光相机、红外相机、以及事件相机的多相机装置,包括以下步骤:获取设定时刻彩色相机、微光相机、以及红外相机拍摄的图像并分别进行目标检测,获得彩色相机发现的目标TC、微光相机发现的目标TL、以及红外相机发现的目标TI;获取所述设定时刻事件相机发现的视野范围内的动态事件图TE;基于目标TC、目标TL、以及目标TI与动态事件图TE的轮廓重合度确定是否发现动态目标。本发明能够适用于各种光照环境并排除背景对检测算法的影响,提高算法对虚假目标识别的鲁棒程度。
-
公开(公告)号:CN119850880A
公开(公告)日:2025-04-18
申请号:CN202411912451.2
申请日:2024-12-24
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T19/00 , G06T7/73 , G06V10/26 , G06V10/44 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/042 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本发明涉及一种面向任务型机器人的高效场景表征方法,包括以下步骤:获取机器人捕获的不同视角的RGB图像帧及其深度信息;对每个图像帧进行全景分割获得2D语义信息和2D实例信息,并根据对应的深度信息向三维网格空间投影得到3D语义信息和3D实例信息;基于帧间相机位姿将各个图像帧的3D语义信息和3D实例信息融合到同一个世界坐标系下,进而根据融合后的3D语义信息和3D实例信息采用TSDF方法进行增量式建图,并在建图时基于语义信息和实例信息进行体素的融合更新,得到全景场景点云;基于所述全景场景点云,以其中所有实例为节点,以各个实例间的关系为边,预测获得3D场景图。本发明能够生成高效表征场景的三维语义场景图。
-
公开(公告)号:CN119739200A
公开(公告)日:2025-04-01
申请号:CN202411885489.5
申请日:2024-12-20
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种面向多机器人协同的未知场景探索方法,具体包括局部探索阶段和全局探索阶段,在局部探索阶段中,各机器人在局部探索区域内进行探索,各机器人生成语义‑前沿视点,并针对所述语义‑前沿视点通过求解旅行商问题生成局部路径;在全局探索阶段,通过构建动态的拓扑图,将所述语义‑前沿视点存储至所述拓扑图的叶节点,并共享给全部的机器人,各机器人在离开所述局部探索区域时,考虑所述拓扑图内的叶节点,通过求解多旅行商问题生成全局路径,协调各机器人就近进入新的局部探索区域,实现多机器人协同探索。本发明能够实现高效的多机器人协同探索。
-
公开(公告)号:CN119665954A
公开(公告)日:2025-03-21
申请号:CN202411722566.5
申请日:2024-11-28
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种任务驱动的无人机自主搜索方法,方法包括:利用无人机获取到的双目RGB图和IMU数据获取无人机里程计;利用无人机获取到的深度图和无人机里程计得到世界坐标系下的三维点云数据,并通过体素化处理建立概率体素地图;使用目标检测网络对双目RGB图进行目标检测,并获取目标位姿;利用检测置信度超过置信度上限的目标与概率体素地图完成任务场景地图的建立和更新;建立空间边界和潜在目标边界;利用空间边界和潜在目标边界建立无人机的搜索策略,并确定搜索视点;利用无人机里程计和搜索视点进行无人机的自主安全导航。本发明解决在通信拒止、陌生未知的场景下完备地探索任务空间同时高精度检测任务目标的难题。
-
公开(公告)号:CN111724439B
公开(公告)日:2024-05-17
申请号:CN201911200881.0
申请日:2019-11-29
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及机器人导航定位技术领域,具体是一种动态场景下的视觉定位方法及装置,所述方法包括:获取当前帧图像,提取所述当前帧图像的特征点;将所述当前帧图像输入预设深度学习网络进行语义分割,得到目标语义图像;根据所述目标语义图像确定所述当前帧图像的运动掩模区域;获取所述当前帧图像的深度信息;基于所述目标语义图像和所述深度信息进行运动一致性检测,确定所述当前帧图像的静态特征点集合;根据所述静态特征点集合确定当前状态位姿信息。本发明通过语义分割结果和深度信息进行运动一致性检测,确定图像的静态特征点集合,能够有效提高在动态环境中对位姿估计的精确性和鲁棒性。
-
公开(公告)号:CN112580804B
公开(公告)日:2024-04-05
申请号:CN202011555461.7
申请日:2020-12-23
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06N3/082 , G06N3/0464 , G06N3/0495 , G06V10/82
Abstract: 本发明涉及一种目标图像处理模型的确定方法、装置及存储介质,方法包括根据待剪枝图像处理模型的历史剪枝信息和历史精度信息,确定当前剪枝信息;基于当前剪枝信息,对待剪枝图像处理模型进行剪枝处理,得到剪枝后的模型;将样本图像输入剪枝后的模型,进行特征预测处理,得到预测特征信息;根据样本图像的标签信息和预测特征信息,确定剪枝后的模型的精度信息;根据剪枝后的模型的精度信息和当前剪枝信息,确定待剪枝信息;若待剪枝信息满足预设停止剪枝条件,将剪枝后的模型确定为目标图像处理模型。本发明可以减小目标图像处理模型的结构,减少目标图像处理模型所占资源,还可以保证剪枝后的网络模型的精度。
-
公开(公告)号:CN111862234B
公开(公告)日:2023-10-20
申请号:CN202010711704.5
申请日:2020-07-22
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明提供一种双目相机自标定方法及系统,包括:1)获取左右原始图像;2)校正左右原始图像;3)从左右校正图像中提取特征点并匹配;4)统计左右图像纵坐标偏差的平均值,若大于对应阈值则修正估计第一参数组,反复迭代修正,直至小于对应阈值;5)找到静态物体;6)处于移动状态时,追踪静态物体的视差及车轮运动信息;7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差,若大于对应阈值则修正估计第二参数组,反复迭代校正,直至小于对应阈值,完成自标定。本发明利用实时图像追踪和车体运动信息,对内外参进行优化标定,完成图像校正工作,为车体提供准确的三维识别数据。
-
-
-
-
-
-
-
-
-