-
公开(公告)号:CN112873211A
公开(公告)日:2021-06-01
申请号:CN202110206075.5
申请日:2021-02-24
Applicant: 清华大学
Abstract: 本发明属于机器人主动视觉感知、语言交互、雷达避障以及深度学习技术领域,尤其涉及一种机器人人机交互方法。本方法拍摄环境的RGB图像与深度图,并探测障碍物信息获取激光雷达数组,对获取数据进行归一化处理,构建人机交互中的问题编码网络将问题进行编码;构建图像特征提取网络,将RGB图像与深度图像信息提取成为一个特征矩阵,将激光雷达数据、问题编码和特征矩阵进行拼接得到特征融合矩阵;采用卷积网络获取数据融合矩阵作为周边环境的数据融合矩阵;训练一个循环神经网络作为导航器,将数据融合矩阵作为输入,输出导航结果,控制机器人运动方向。本方法实现了机器人自我导航,自我探索,人机交互等功能,提升机器人的智能性。
-
公开(公告)号:CN109799829B
公开(公告)日:2020-06-02
申请号:CN201910151499.9
申请日:2019-02-28
Applicant: 清华大学
IPC: G05D1/02
Abstract: 本发明公开了一种基于自组织映射的多机器人协同主动感知方法。包括机器人群体按照推算的航迹并通过多旅行商问题模型进行首轮探测,分别形成一个闭环路径;选择到目标观测点的旅行预算时间与实际消耗时间比值最小的机器人作为获胜机器人,通过自组织映射网络算法对获胜机器人的路径点进行迭代计算,得到包含有目标观测点的闭环路径,获胜机器人按照该闭环路径利用深度相机和激光雷达进行当前目标点探测;遍历所有目标点,探测结束。本发明把信息量较大的场景中机器人群体协同感知问题转化为多目标路径规划的多旅行商数学模型,极大地简化了问题的复杂度;采用自组织映射神经网络算法进行机器人路径点的迭代处理,运算复杂度低。
-
公开(公告)号:CN113505646B
公开(公告)日:2024-04-12
申请号:CN202110648665.3
申请日:2021-06-10
Applicant: 清华大学
IPC: G06V20/10 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08 , G06T5/70 , G06T7/50 , G06T7/70 , G01C21/20
Abstract: 本发明提出一种基于语义地图的目标搜索方法,属于机器人导航、计算机视觉领域。该方法首先建立语义关系图,对待进行目标搜索的空间建立导航图并选取采样点,在各采样点从多视角采集RGB图和深度图;机器人根据任一采样点单个视角的RGB图获得该视角中物体的语义掩膜,结合深度图完成该视角局部的三维语义重建;整合所有局部的三维语义重建,得到待进行目标搜索的空间的语义点云;去除点云中的z维数据并去噪,得到该空间的语义地图;机器人在语义地图中查询待搜索的目标物体是否为已知物体并执行相应的搜索策略;搜索完成后,更新未知目标物体与各父类物体的语义关系图。本发明可使机器人对真实环境具有良好感知能力,提高目标搜索的效率。
-
公开(公告)号:CN116862143A
公开(公告)日:2023-10-10
申请号:CN202310694841.6
申请日:2023-06-13
Applicant: 清华大学
IPC: G06Q10/0631 , G06F40/205 , G06N5/01
Abstract: 本发明提出具一种异构机器人协同目标搜索系统及方法,属于多机器人协作领域。其中,所述系统包括相互连接的通讯模块、任务分配模块和多个异构机器人;所述通讯模块用于获取用户自然语言指令并进行关系抽取处理,得到包含目标物体及其相关信息的文本抽取结果并发送给搜索任务分配模块;所述任务分配模块用于生成所述目标物体的搜索任务并分解为每个机器人基于自身条件可执行的子任务;所述机器人用于执行子任务并将结果通过所述通讯模块反馈给用户。本发明改善了同构机器人在视线盲区搜索任务受到局限的缺陷,充分利用异构机器人的身高差带来的不同的视线范围优势,对执行更加精准的协同搜索任务具有极大的实用意义。
-
公开(公告)号:CN114706389A
公开(公告)日:2022-07-05
申请号:CN202210310368.2
申请日:2022-03-28
Applicant: 清华大学
IPC: G05D1/02
Abstract: 本发明提出一种基于社交平台的多机器人动态环境搜索系统及方法,涉及机器人导航、计算机视觉、多机器人通讯等领域。其中所述系统包括云端服务器、多机器人任务分配模块和多个机器人;所述云端服务器分别连接多机器人任务分配模块、每个机器人以及用户的移动终端设备,所述多机器人任务分配模块连接每个机器人;其中,所述移动终端设备上安装有社交软件,每个机器人分别拥有所述社交软件的对应账号。本发明采用社交软件进行人机交互,采用多层次场景图谱解决动态场景下的环境变化,通过路径规划和任务分配实现高效、有序的多机器人环境搜索任务,通过交互将搜索的结果反馈给使用者,方便使用者对周围环境信息的及时掌握。
-
公开(公告)号:CN111084711B
公开(公告)日:2020-12-11
申请号:CN201911355769.4
申请日:2019-12-25
Applicant: 清华大学
IPC: A61H3/06
Abstract: 本发明涉及一种基于主动视觉引导的导盲杖地形探测方法,属于主动引导和深度学习技术领域。本发明方法在残疾人服务设备领域,利用了已有的GAN生成触觉信号,用于盲人辅助设备即导盲杖中,引入了主动视觉引导,可以通过振动触觉帮助盲人更好的感知地面信息。在保证盲人感知地面信息的情况下,避免了漫无目的的探测地面,而是基于主动视觉引导来探测地面,方便了视障人士的出行。相比于传统的导盲设备,不再需要通过导盲杖漫无目的的探测,而是先进行了地面异常检测,做到了有针对性地探测地面区域,更有利于视障人士出行的安全、可靠和便捷。
-
公开(公告)号:CN111084711A
公开(公告)日:2020-05-01
申请号:CN201911355769.4
申请日:2019-12-25
Applicant: 清华大学
IPC: A61H3/06
Abstract: 本发明涉及一种基于主动视觉引导的导盲杖地形探测方法,属于主动引导和深度学习技术领域。本发明方法在残疾人服务设备领域,利用了已有的GAN生成触觉信号,用于盲人辅助设备即导盲杖中,引入了主动视觉引导,可以通过振动触觉帮助盲人更好的感知地面信息。在保证盲人感知地面信息的情况下,避免了漫无目的的探测地面,而是基于主动视觉引导来探测地面,方便了视障人士的出行。相比于传统的导盲设备,不再需要通过导盲杖漫无目的的探测,而是先进行了地面异常检测,做到了有针对性地探测地面区域,更有利于视障人士出行的安全、可靠和便捷。
-
-
-
-
-
-