-
公开(公告)号:CN118397094A
公开(公告)日:2024-07-26
申请号:CN202410648248.2
申请日:2024-05-23
Applicant: 哈尔滨工业大学 , 长三角哈特机器人产业技术研究院
IPC: G06T7/73 , G06V10/40 , G06N3/0464 , G06N3/048 , G06V10/80 , G06V10/774 , G06N3/084
Abstract: 基于集中式神经网络的移动机器人多场景视觉定位方法,涉及轨迹规划领域。本发明是为了解决现有多场景视觉定位方法还存在定位效率低的问题。本发明包括:移动机器人获取待视觉定位图像,将待视觉定位图像输入到训练好的集中式神经网络中,获得每个待视觉定位图像的三维场景坐标和一维不确定度;利用PnP位姿求解算法和每个待视觉定位图像的三维场景坐标、一维不确定度获得每个移动机器人摄像头的六自由度位姿。集中式神经网络的每个特征提取单元中包括两个分支,其中一个分支能够跨场景提取通用特征,另一个分支致力于学习针对每个单独任务的特征定制的软注意掩码。本发明用于多场景视觉定位。
-
公开(公告)号:CN119559244A
公开(公告)日:2025-03-04
申请号:CN202410291900.X
申请日:2024-03-14
Applicant: 江淮前沿技术协同创新中心 , 哈尔滨工业大学
IPC: G06T7/70 , G06N3/0455 , G06N3/0464 , G06N3/09
Abstract: 本发明属于机器人视觉定位领域,尤其涉及一种基于稀疏Transformer的视觉定位方法。针对但现有技术中Transformer存在因二次计算复杂度高,导致处理密集的回归任务准确率低,从而在场景坐标预测等任务中存在预测结果不准确的问题。本发明提出了一种基于全局感受野的特征聚合网络,通过稀疏Transformer的方式,使得具有相似特征的点以较低的计算量获得丰富的全局信息,解决了现有技术中Transformer存在因二次计算复杂度高,导致处理密集的回归任务准确率低,从而在场景坐标预测等任务中存在预测结果不准确的问题,根据本发明实现了室内服务机器人在光照变化以及低、无纹理或者重复纹理的恶劣室内场景中的开机重启自定位。
-
公开(公告)号:CN119229874A
公开(公告)日:2024-12-31
申请号:CN202411285266.5
申请日:2024-09-13
Applicant: 哈尔滨工业大学
Abstract: 基于混合训练策略的决策和大语言模型的语音交互方法及存储介质,本发明涉及语音交互方法及存储介质。本发明的目的是为了解决现有大语言模型由于缺乏足够的领域知识,无法提供准确的回答,以及采用两个大语言模型会带来计算成本高,响应时间长的问题。过程为:设置特定的回答格式;构建决策数据集;构建用于特定场景对话问答的对话数据集;基于对话数据集采用全参微调对大语言模型进行第一次微调,得到一次微调后的大语言模型;基于决策数据集采用LoRA对一次微调后的大语言模型进行第二次微调,得到二次微调后的大语言模型;将语音识别模块和语音合成模块接入二次微调后的大语言模型,对用户待测语音问题进行处理,生成语音与用户交互。
-
公开(公告)号:CN118823306A
公开(公告)日:2024-10-22
申请号:CN202410793090.8
申请日:2024-06-19
Applicant: 江淮前沿技术协同创新中心 , 哈尔滨工业大学
Abstract: 基于双向交互Transformer的2D目标检测方法,涉及应用于深度学习的目标检测领域。解决了基于传统深度学习的目标检测方法进行目标检测时,存在无法提取全局特征、提取特征能力差的问题的问题。本发明通过构建2D目标检测网络能够有效地处理多级特征的局部和全局信息交互,从而识别出独特的特征以回归精确的目标区域的边界框P=[x,y,w,h],提升目标检测的精度和效率。本发明主要用于对待检测RGB图像进行目标检测。
-
公开(公告)号:CN117635986B
公开(公告)日:2024-07-05
申请号:CN202311593713.9
申请日:2023-11-27
IPC: G06V10/75 , G06V10/52 , G06V10/82 , G06N3/0455 , G06N3/08
Abstract: 本发明属于图像特征匹配领域,具体涉及一种适用大尺度场景下基于特征匹配网络的特征识别方法。针对现有技术中无法将全局特征、局部特征和多尺度特征进行有效的提取和整合的问题。本发明设计一种适用大尺度场景下基于特征匹配网络的特征识别方法,使用基于ResNet18的特征金字塔网络提供粗、细两种级别的特征。粗级别特征生成同时具有多尺度、全局和局部信息的特征。利用局部调节分支和全局调节分支从局部和全局两个角度来有效地校准丰富的特征表示。将输出的特征传入粗匹配模块得到粗匹配坐标。最后通过细匹配模块生成细匹配位置偏差来得出最终的匹配点。实现将全局特征、局部特征和多尺度特征进行有效的提取和整合。
-
公开(公告)号:CN117635986A
公开(公告)日:2024-03-01
申请号:CN202311593713.9
申请日:2023-11-27
IPC: G06V10/75 , G06V10/52 , G06V10/82 , G06N3/0455 , G06N3/08
Abstract: 本发明属于图像特征匹配领域,具体涉及一种适用大尺度场景下基于特征匹配网络的特征识别方法。针对现有技术中无法将全局特征、局部特征和多尺度特征进行有效的提取和整合的问题。本发明设计一种适用大尺度场景下基于特征匹配网络的特征识别方法,使用基于ResNet18的特征金字塔网络提供粗、细两种级别的特征。粗级别特征生成同时具有多尺度、全局和局部信息的特征。利用局部调节分支和全局调节分支从局部和全局两个角度来有效地校准丰富的特征表示。将输出的特征传入粗匹配模块得到粗匹配坐标。最后通过细匹配模块生成细匹配位置偏差来得出最终的匹配点。实现将全局特征、局部特征和多尺度特征进行有效的提取和整合。
-
-
-
-
-