基于RGB-D相机的机器人场景自适应位姿估计方法

    公开(公告)号:CN110223348B

    公开(公告)日:2023-05-23

    申请号:CN201910138159.2

    申请日:2019-02-25

    IPC分类号: G06T7/73

    摘要: 本发明公开了一种基于RGB‑D相机的机器人场景自适应位姿估计方法,基于RGB‑D相机获取的相邻帧的场景二维彩色图像信息和按二维彩色图像像素对应的空间深度信息,在二维彩色图像特征点充足时,采用ORB算子提取特征,采用本发明提出的匹配策略进行精确地匹配,基于匹配特征点的位姿估计算法求解三维位姿估计;在特征点不足时,采用本发明提出的改进ICP算法求解三维位姿估计;然后,本发明设计出完整的切换准则融合上述两种位姿估计方法;最后,本发明采用光束平差算法优化以上两种方法求得的位姿估计,最终得到平滑和准确的三维位姿估计;本发明的三维位姿估计算法具有鲁棒性高、精度高、计算量小、可适应不同场景等突出优点。

    一种基于序列图像特征的自主无人系统位置识别定位方法

    公开(公告)号:CN110968711B

    公开(公告)日:2021-04-02

    申请号:CN201911021433.4

    申请日:2019-10-24

    摘要: 本发明公开了一种基于序列图像特征的自主无人系统位置识别定位方法,首先通过改进的卷积神经网络模型提取待图像特征,得到的深度特征具有较强的光照不变性和视角不变性,增强了算法对于场景条件变化和机器人视角变化的鲁棒性;然后采用基于图像序列的差异性度量方法,有效的为相邻帧的位置识别提供约束,提高识别的准确率;其次使用近似最近邻搜索方法,极大的减小了序列搜索的计算量,提高了在大规模环境中的使用效率;最后通过动态更新候选匹配的方法,有效减少了序列搜索中造成的遗漏情况,提高了算法的容错率。本发明的视觉位置识别算法具有鲁棒性强、效率高、适应场景多样等突出优点。

    一种基于序列图像特征的自主无人系统位置识别定位方法

    公开(公告)号:CN110968711A

    公开(公告)日:2020-04-07

    申请号:CN201911021433.4

    申请日:2019-10-24

    摘要: 本发明公开了一种基于序列图像特征的自主无人系统位置识别定位方法,首先通过改进的卷积神经网络模型提取待图像特征,得到的深度特征具有较强的光照不变性和视角不变性,增强了算法对于场景条件变化和机器人视角变化的鲁棒性;然后采用基于图像序列的差异性度量方法,有效的为相邻帧的位置识别提供约束,提高识别的准确率;其次使用近似最近邻搜索方法,极大的减小了序列搜索的计算量,提高了在大规模环境中的使用效率;最后通过动态更新候选匹配的方法,有效减少了序列搜索中造成的遗漏情况,提高了算法的容错率。本发明的视觉位置识别算法具有鲁棒性强、效率高、适应场景多样等突出优点。

    自注意力多尺度金字塔双目立体匹配方法及电子设备

    公开(公告)号:CN115861667A

    公开(公告)日:2023-03-28

    申请号:CN202211655757.5

    申请日:2022-12-22

    摘要: 本申请公开了一种自注意力多尺度金字塔双目立体匹配方法及电子设备,属于立体视觉技术领域。方法包括:包括:获取双目立体相机的标准左、右图像;进行多尺度特征提取,得到左、右图像的多尺度卷积特征;进行通道特征加权和空间特征加权,再进行融合,得到左、右图像的多尺度融合特征;构建4D代价体;进行多尺度金字塔聚合成多尺度3D聚合体;基于聚合成的3D聚合体,通过Soft Max操作之后,进行视差回归,输出左图像视差图。本申请将注意力机制应用到立体匹配当中,起到了特征筛选的作用,并设计了一个多尺度金字塔聚合模块来有效地聚合多尺度特征以提高弱纹理区域的匹配精度,结果表明本发明方法有效地提高了双目立体匹配精度。

    多模态情感识别方法、装置及计算机可读存储介质

    公开(公告)号:CN115374854A

    公开(公告)日:2022-11-22

    申请号:CN202211008202.1

    申请日:2022-08-22

    IPC分类号: G06K9/62 G06N3/04 G06N3/08

    摘要: 本发明提供一种多模态情感识别方法,首先针对样本的单模态数据,将输入特征在固定维度的特征空间中进行投影分割,得到两个维度相等的子特征序列,然后分别对两个子特征提取时间特征和空间特征,最后利用线性调制的方法自适应融合时间特征和空间特征,得到该模态数据对应的时空特征。该方法减小了不同模态之间的异构性,弭平不同模态特征之间的模态鸿沟,使得后续多模态融合更加高效。通过将多模态下的情感特征预测值加权平均,即可得到多模态下的情感识别结果,无需设计复杂的多模态融合网络层,从本质上提升模型的泛化能力。本发明还提供一种多模态情感识别装置及一种计算机可读存储介质。

    一种融合梯度线索和多尺度信息的双目立体匹配方法

    公开(公告)号:CN115423882A

    公开(公告)日:2022-12-02

    申请号:CN202211119943.7

    申请日:2022-09-15

    发明人: 孙炜 范诗萌 李冲

    摘要: 本发明提供一种融合梯度线索和多尺度信息的双目立体匹配方法,对左右图像进行多尺度特征提取得到多尺度的左、右卷积特征图,并计算左、右梯度特征图;将分辨率相同的左、右卷积特征图与左、右梯度特征图融合,得到多尺度的左、右融合特征图;使用拼接操作在每个视差平面上用左、右融合特征图构建拼接代价体;使用组相关方法在每个视差平面上用左、右卷积特征图构建组相关代价体;将相同分辨率的拼接代价体和组相关代价体拼接,得到多尺度的组合代价体;将不同尺度下的组合代价体融合得到融合代价体,对融合代价体进行上采样,得到与左、右图像分辨率相同的最终代价体;采用soft argmin操作输出视差图。本发明提高了弱纹理区域、细微结构区域的匹配精度。

    一种多敏感体分区灵敏力传感器

    公开(公告)号:CN111024278B

    公开(公告)日:2024-09-24

    申请号:CN201911045164.5

    申请日:2019-10-30

    申请人: 湖南大学

    IPC分类号: G01L1/20 G01L1/22 G01L1/24

    摘要: 本发明公开了一种新多敏感体分区灵敏力传感器,传感器包括层叠式多敏感区力敏元件、三路检测电路、信号调理电路、信息解耦系统,其中的层叠式多敏感区力敏元件包括底座、三组层叠式力感元件、应变检测元件、承载平台。每个层叠式力敏元件在X、Y、Z三个坐标方向都包括多个相互独立的应变敏感单元。在每个应变敏感单元正反两面上按特定的策略布置了应变检测元件。本发明针对现有力传感器难以满足同时具备大量程及高灵敏度的要求,通过设计力传感器的多个敏感体,各个敏感体在宽量程内自动分区灵敏,最终实现传感器在整个大量程范围中实现多灵敏度测量。

    一种基于图优化的UWB基站自标定方法及系统

    公开(公告)号:CN117471473A

    公开(公告)日:2024-01-30

    申请号:CN202311364831.2

    申请日:2023-10-20

    申请人: 湖南大学

    摘要: 本申请提供一种基于图优化的UWB基站自标定方法,将UWB标签安装在移动机器人上,使移动机器人在离线地图对应的室内区域移动,采集激光雷达的实时点云数据和UWB标签到各个UWB基站的实时测距值,通过匹配实时点云数据和离线地图,获取移动机器人在雷达坐标系中的坐标;构建基于滑动窗口机制的图优化算法框架,以实时点云数据和实时测距值解算各个UWB基站在雷达坐标系下的坐标;建立UWB坐标系,对雷达坐标系下的UWB基站坐标进行坐标转换,得到所有基站在UWB坐标系下的坐标,完成UWB基站自标定。本申请可以提升标定的效率,降低标定难度。本申请还提供一种基于图优化的UWB基站自标定系统。

    基于ChatGPT交互与本体知识的家庭机器人动作生成方法及系统

    公开(公告)号:CN117035088A

    公开(公告)日:2023-11-10

    申请号:CN202310658275.3

    申请日:2023-06-05

    申请人: 湖南大学

    摘要: 本申请提供本申请提供一种基于ChatGPT交互与本体知识的家庭机器人动作生成方法,利用ChatGPT的自然语言处理能力,推理出任务目标状态,通过提供的混合推理校验机制,使得家庭机器人在复杂的家庭场景下仍可快速完成准确的目标实例推理,解决了传统方法中对于目标实例无法识别、或识别模糊的问题;并且可以依据待执行的任务,自主构建体积小,精度高的本体知识库来指导任务规划与执行。提高了家庭机器人利用先验知识的效率与机器人自身的智能水平。本申请还提供了一种基于ChatGPT交互与本体知识的家庭机器人动作生成系统。