-
公开(公告)号:CN115759199A
公开(公告)日:2023-03-07
申请号:CN202211454807.3
申请日:2022-11-21
申请人: 山东大学
IPC分类号: G06N3/0464 , G06N3/08
摘要: 本发明提出了基于层次化图神经网络的多机器人环境探索方法及系统,涉及多机器人未知环境探索领域。包括:基于拓扑图的环境建模方法把连续的环境地图表示为拓扑图;基于层次化图神经网络对拓扑图进行特征提取,将拓扑图中不同跳数的特征信息进行聚合,并利用多头注意力机制对拓扑图中结点和边的特征进行融合,得到最终输出拓扑图;将最终输出拓扑图中单个机器人节点对应的结点特征作为强化学习中对应智能体的状态,利用多头注意力机制对来自多个机器人的结点特征进行信息融合,得到机器人系统总状态价值。本发明有注意性地提取环境拓扑图中的特征信息,利用多智能体强化学习框架进行策略学习,提升多机器人系统整体的协同性和任务执行效率。
-
公开(公告)号:CN114821237A
公开(公告)日:2022-07-29
申请号:CN202210485344.0
申请日:2022-05-06
申请人: 山东大学
IPC分类号: G06V10/774 , G06V10/762 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
摘要: 本发明属于船舶再识别技术领域,尤其涉及一种基于多级对比学习的无监督船舶再识别方法及系统。该方法包括,获取训练船舶图像,生成训练船舶图像的伪标签,并对训练船舶图像进行增强,得到增强图像;采用特征提取网络提取增强图像的增强图像特征,基于增强图像特征及伪标签,对特征提取网络进行训练;获取查询船舶图像,利用训练好的特征提取网络提取查询船舶图像特征,基于查询船舶图像特征,检索得到备选船舶图像集中与所述查询船舶图像属于同一船舶的图像。本发明通过结合实例级对比学习和聚类级对比学习,在无需任何记忆块的情况下以无监督的方式学习具有辨识性的船舶特征,进而提升船舶再识别任务准确率。
-
公开(公告)号:CN111367282B
公开(公告)日:2022-06-07
申请号:CN202010157337.9
申请日:2020-03-09
申请人: 山东大学
IPC分类号: G05D1/02
摘要: 本发明公开了一种基于多模感知与强化学习的机器人导航方法及系统,包括:获取机器人在设定时刻所观测场景的RGB图片,采用训练好的分割网络将所述RGB图片转换为二元分割图;分别采集所述设定时刻的激光雷达数据以及机器人的速度度量数据;将所述二元分割图、激光雷达数据以及机器人的速度度量数据输入到训练好的多模融合深度网络模型中,得到机器人的最优运行策略。本发明采用多模机制可确保对环境更加完整的感知,基于RL的方法可通过在线交互直接学习在无限搜索空间中围绕周围环境优化的导航策略,从而产生灵活的动作,从而提高了其避免碰撞的能力。
-
公开(公告)号:CN111975775B
公开(公告)日:2022-05-27
申请号:CN202010813033.3
申请日:2020-08-13
申请人: 山东大学
摘要: 本发明属于机器人导航领域,提供了一种基于多角度视觉感知的自主机器人导航方法及系统。其中,基于多角度视觉感知的自主机器人导航方法包括实时获取机器人前进方向图像以及左右两侧的图像并输入至多任务网络;经多任务网络预测出机器人自由可驱动区域、交叉口位置及交叉口转向;利用机器人自由可驱动区域生成局部导航指标,交叉口位置及交叉口转向生成全局导航指标,根据局部导航指标和全局导航指标生成组合指标,再结合预先构建的地图中映射出来的转向命令,得到机器人控制指令。
-
公开(公告)号:CN114488185A
公开(公告)日:2022-05-13
申请号:CN202210196854.6
申请日:2022-03-01
申请人: 山东大学
IPC分类号: G01S17/89 , G01S17/93 , G01S17/931 , G01S7/483
摘要: 本发明公开了一种基于多线激光雷达的机器人导航系统方法及系统,包括:获取机器人周围设定区域内的点云数据,并将点云数据由笛卡尔坐标系转换为极坐标的形式;分别计算每个点云数据的高维特征和可见度特征,得到融合提取出的总特征;使用U‑Net作为基本的框架对所述总特征进行分割任务,得到当前机器人周围设定区域内的可行区域;基于机器人正前方的安全系数确定是否进入避障状态;并在避障状态下,确定偏移的航路点,确定机器人速度和转角;在非避障状态下,计算前方障碍物与机器人之间的相对速度,动态调节机器人自身的速度。本发明能够使得机器人能够在真实世界中顺利、安全地自主导航,大大提高了机器人的路径规划与避障能力。
-
公开(公告)号:CN118567232A
公开(公告)日:2024-08-30
申请号:CN202410610763.1
申请日:2024-05-16
申请人: 山东大学
IPC分类号: G05B13/04 , G06N3/0464 , G06F18/25 , G06N5/04
摘要: 本发明提出了一种大模型驱动的机器人操作任务执行方法及系统,涉及智能机器人控制技术领域,具体方案包括:获取待操作物体图像和待执行的语言指令;将物体图像和语言指令输入到训练好的指令引导操作可供性预测网络中,生成操作可供性图,进而确定物体的操作区域,其中,所述操作可供性图是为物体图像的每个像素点分配一个可供性值;基于语言指令和操作区域,生成可执行的动作,指导智能机器人完成操作任务;本发明提出了指令引导操作可供性预测网络,利用在数据增强后的数据集上训练后的强大先验,预测指令引导的机器人操作任务的可供性图,进而得到可执行的动作。
-
公开(公告)号:CN118012077B
公开(公告)日:2024-08-20
申请号:CN202410410625.9
申请日:2024-04-08
申请人: 山东大学 , 苏州丰烁动力科技有限公司
IPC分类号: G05D1/43 , G05D1/644 , G05D1/648 , G05D109/12
摘要: 本公开提供了基于强化学习动作模仿的四足机器人运动控制方法及系统,涉及机器人运动控制技术领域,将参考动作数据作为状态值引入强化学习网络,在动作模仿训练阶段,通过关节跟踪奖励的激励,采用自适应随机初始状态采样的训练技巧,提高训练效率,使机器人从运动示范中获取宝贵的信息,迅速学会模仿参考技能的运动策略。然后,在技能拓展训练阶段,将模仿奖励与任务奖励相结合,形成独特的奖励形式,进一步训练运动策略,最终获得完成运动任务的最佳运动策略。本发明简单高效,效果明显,提升了四足机器人运动策略的学习效率,扩展了模仿学习在机器人运动控制领域的应用范围。
-
-
公开(公告)号:CN118376259A
公开(公告)日:2024-07-23
申请号:CN202410830963.8
申请日:2024-06-26
申请人: 山东大学
摘要: 本发明属于无人车导航技术领域,提供了一种无人车及基于多模态融合的无人车导航方法、装置,为了保证无人车导航模型多模态融合性能的同时提高融合的效率,本发明使用了一种高效的多模态特征融合网络,该模型可以使各模态的数据首先提取出模态内最关键的信息再进行跨模态数据融合,融合过程中只传递该部分少量关键信息,提升无人车感知环境的能力,同时避免了模态间数据的完全访问,可以有效去除数据冗余,减少模型运算量,对模型运算速度有明显提升,有效增强了无人车导航的实时性和安全性。
-
公开(公告)号:CN118061186A
公开(公告)日:2024-05-24
申请号:CN202410367785.X
申请日:2024-03-28
申请人: 山东大学
IPC分类号: B25J9/16
摘要: 本发明提出了一种基于多模态大模型预测控制的机器人规划方法及系统,利用多模态大模型强大视觉推理和视觉定位能力,通过机器人运动的目标图像或文本指令,以及机器人当前观测图像来采样候选动作序列,然后对采样候选动作序列预测未来状态视频,来指导机器人操作,旋转和与场景物体互动的复杂路径规划,避免了手动设计基础动作和技能的需要,并突破了之前基于多模态大模型的方法只能组成没有预见性的粗略轨迹的限制,实现基于未来状态预测的机器人控制规划。
-
-
-
-
-
-
-
-
-