一种基于稀疏Transformer的视觉定位方法

    公开(公告)号:CN119559244A

    公开(公告)日:2025-03-04

    申请号:CN202410291900.X

    申请日:2024-03-14

    Inventor: 王珂 蒋志强 康鹏

    Abstract: 本发明属于机器人视觉定位领域,尤其涉及一种基于稀疏Transformer的视觉定位方法。针对但现有技术中Transformer存在因二次计算复杂度高,导致处理密集的回归任务准确率低,从而在场景坐标预测等任务中存在预测结果不准确的问题。本发明提出了一种基于全局感受野的特征聚合网络,通过稀疏Transformer的方式,使得具有相似特征的点以较低的计算量获得丰富的全局信息,解决了现有技术中Transformer存在因二次计算复杂度高,导致处理密集的回归任务准确率低,从而在场景坐标预测等任务中存在预测结果不准确的问题,根据本发明实现了室内服务机器人在光照变化以及低、无纹理或者重复纹理的恶劣室内场景中的开机重启自定位。

    基于混合训练策略的决策和大语言模型的语音交互方法及存储介质

    公开(公告)号:CN119229874A

    公开(公告)日:2024-12-31

    申请号:CN202411285266.5

    申请日:2024-09-13

    Abstract: 基于混合训练策略的决策和大语言模型的语音交互方法及存储介质,本发明涉及语音交互方法及存储介质。本发明的目的是为了解决现有大语言模型由于缺乏足够的领域知识,无法提供准确的回答,以及采用两个大语言模型会带来计算成本高,响应时间长的问题。过程为:设置特定的回答格式;构建决策数据集;构建用于特定场景对话问答的对话数据集;基于对话数据集采用全参微调对大语言模型进行第一次微调,得到一次微调后的大语言模型;基于决策数据集采用LoRA对一次微调后的大语言模型进行第二次微调,得到二次微调后的大语言模型;将语音识别模块和语音合成模块接入二次微调后的大语言模型,对用户待测语音问题进行处理,生成语音与用户交互。

    一种适用大尺度场景下基于特征匹配网络的特征识别方法

    公开(公告)号:CN117635986B

    公开(公告)日:2024-07-05

    申请号:CN202311593713.9

    申请日:2023-11-27

    Abstract: 本发明属于图像特征匹配领域,具体涉及一种适用大尺度场景下基于特征匹配网络的特征识别方法。针对现有技术中无法将全局特征、局部特征和多尺度特征进行有效的提取和整合的问题。本发明设计一种适用大尺度场景下基于特征匹配网络的特征识别方法,使用基于ResNet18的特征金字塔网络提供粗、细两种级别的特征。粗级别特征生成同时具有多尺度、全局和局部信息的特征。利用局部调节分支和全局调节分支从局部和全局两个角度来有效地校准丰富的特征表示。将输出的特征传入粗匹配模块得到粗匹配坐标。最后通过细匹配模块生成细匹配位置偏差来得出最终的匹配点。实现将全局特征、局部特征和多尺度特征进行有效的提取和整合。

    一种适用大尺度场景下基于特征匹配网络的特征识别方法

    公开(公告)号:CN117635986A

    公开(公告)日:2024-03-01

    申请号:CN202311593713.9

    申请日:2023-11-27

    Abstract: 本发明属于图像特征匹配领域,具体涉及一种适用大尺度场景下基于特征匹配网络的特征识别方法。针对现有技术中无法将全局特征、局部特征和多尺度特征进行有效的提取和整合的问题。本发明设计一种适用大尺度场景下基于特征匹配网络的特征识别方法,使用基于ResNet18的特征金字塔网络提供粗、细两种级别的特征。粗级别特征生成同时具有多尺度、全局和局部信息的特征。利用局部调节分支和全局调节分支从局部和全局两个角度来有效地校准丰富的特征表示。将输出的特征传入粗匹配模块得到粗匹配坐标。最后通过细匹配模块生成细匹配位置偏差来得出最终的匹配点。实现将全局特征、局部特征和多尺度特征进行有效的提取和整合。

Patent Agency Ranking