-
公开(公告)号:CN115035296B
公开(公告)日:2024-07-12
申请号:CN202210680819.1
申请日:2022-06-15
Applicant: 清华大学
IPC: G06V10/26 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于鸟瞰投影的飞行汽车3D语义分割方法及系统,该方法包括:步骤1)对飞行汽车采集的不定尺寸大规模3D点云数据进行给定尺寸裁剪;步骤2)通过设定比例因子、窗格尺寸和步距,经缩小、滑窗法和正则化处理得到若干个窗格,每个窗格包括若干个网格,分别对每个网格的点云数据进行投影,得到每个窗格的RGB图像和Alt深度投影图;步骤3)将每个窗格的RGB图像和Alt深度投影图输入预先建立和训练好的2D图像语义分割模型,得到2D语义分割结果;步骤4)将2D语义分割结果,映射到3D点云数据上,得到3D语义分割结果;2D图像语义分割模型基于自注意力机制的多模型融合方法实现。
-
公开(公告)号:CN115284288B
公开(公告)日:2024-04-12
申请号:CN202210958761.2
申请日:2022-08-09
Applicant: 清华大学
IPC: B25J9/16
Abstract: 本公开提供的多机器人在线任务分配和执行方法、装置及存储介质,包括:预训练阶段,构建场景编码模型,将其与分类模型连接,训练场景编码模型以将场景内的语义图进行编码,并在编码中保留位置和语义信息;训练阶段,构建多机器人任务分配和执行模型,对其训练,使之根据任务语言指令和多机器人的视觉观测图像进行动态任务分解和分配,使多机器人协作完成指定任务;测试阶段,给定任务语言指令,多机器人任务分配和执行模型根据该指令和机器人的视觉观测图像在每一步对任务进行动态分解和分配,并为各机器人生成下一步导航的子目标,使多机器人协同完成任务。本公开可推理出语言指令中隐含的信息,对指定任务进行动态分配,并由多机器人协作完成。
-
公开(公告)号:CN117409283A
公开(公告)日:2024-01-16
申请号:CN202311425872.8
申请日:2023-10-30
Applicant: 清华大学
Abstract: 本申请提供一种基于博弈交互的可解释多模态感知方法及装置,该方法包括:利用第一编码器对RGB图像进行特征提取得到第一特征图,将第一特征图征映射到BEV空间得到第一BEV特征图;利用第二编码器对点云数据进行特征提取得到第二特征图,将第二特征图征映射到BEV空间得到第二BEV特征图;利用融合编码器对第一BEV特征图和第二BEV特征图进行融合处理,得到融合特征图;利用多任务检测头对融合特征图进行检测处理,得到多任务目标检测结果;其中,在第一编码器、第二编码器、融合编码器和多任务检测头的联合训练中,在损失函数中加入基于博弈交互的融合交互损失函数。
-
公开(公告)号:CN115879377B
公开(公告)日:2023-11-28
申请号:CN202211684467.3
申请日:2022-12-27
Applicant: 清华大学
IPC: G06F30/27 , G06F30/15 , G06T3/40 , G06V10/80 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本申请提供了一种智能飞行汽车模态切换的决策网络的训练方法,涉及深度学习技术领域,所述方法包括:基于A3C网络构建总决策网络;在一个训练周期内,执行下述步骤,直至达到预设的训练周期数量:采用CoppeliaSim仿真器中随机搭建M个模拟环境;复制M个总决策网络作为M个子决策网络,为每个模拟环境分配一个子决策网络;在各模拟环境中对对应的子决策网络进行训练,直至到达训练周期结束条件,计算每个子决策网络的损失函数;当所有的模拟环境的当前训练周期均结束,计算M个子决策网络的损失函数的平均值,作为总决策网络的损失函数,利用损失函数对总决策网络的权重参数进行更
-
公开(公告)号:CN115861632B
公开(公告)日:2023-11-28
申请号:CN202211640340.1
申请日:2022-12-20
Applicant: 清华大学
IPC: G06V10/40 , G06V10/25 , G06V10/80 , G06V10/82 , G06V10/764 , G06N3/048 , G06N3/0464 , G06N3/08 , G06V10/774
Abstract: 本申请提供了一种基于图卷积的视觉激光融合的三维目标检测方法,涉及自动驾驶技术领域,该方法包括:对点云数据的每个体素块的特征向量进行图卷积操作,得到二维的体素特征;利用第一检测器对体素特征进行处理,得到原始点云ROI区域,从原始点云ROI区域提取出原始点云ROI特征;对点云数据进行处理得到密集深度图,利用密集深度图将RGB图像转换为伪点云图像;在伪点云图像上获取伪点云ROI区域,从伪点云ROI区域提取出伪点云ROI特征;利用注意力融合模型对原始点云ROI特征和伪点云ROI特征进行处理,得到融合后的ROI特征;利用第二检测器对融合后的ROI特征进行处理,得到三维目标检测框。本申请提高了三维目标检测的精度。
-
公开(公告)号:CN116668833A
公开(公告)日:2023-08-29
申请号:CN202310652738.5
申请日:2023-06-02
Applicant: 清华大学
Abstract: 本申请提供一种基于主动感知的车载相机帧率调节方法及装置,涉及自动驾驶领域,应用于配置车速传感器和相机的自动驾驶车辆,所述方法包括:利用车速传感器获取当前时刻的车速;利用当前时刻的车速以及预先拟合出的相机帧率与车速的M阶多项式,计算出下一时刻的最优相机帧率;将下一时刻的最优相机帧率发送至相机的图像传感器。本申请能够根据车速自动调整车载相机的帧率,由此采集到清晰的环境图像,提升自动驾驶车辆在不同的车速状况下对周围环境的感知能力。
-
公开(公告)号:CN116416277A
公开(公告)日:2023-07-11
申请号:CN202310006289.7
申请日:2023-01-04
Applicant: 清华大学
Abstract: 本申请提供了一种基于运动方程轨迹预测的多目标跟踪方法及装置,涉及多目标跟踪技术领域,所述方法包括:获取检测器输出的当前图像帧中的所有运动目标的检测框;利用上一图像帧中所有轨迹的状态向量,基于恒定角速度和恒定线加速度的运动方程,利用扩展卡尔曼滤波得到上一图像帧中所有轨迹在当前图像帧中的预测框;基于各检测框和各预测框之间的关联代价矩阵,使用匹配算法得到当前图像帧中匹配成功的检测框;使用当前图像帧中匹配成功的检测框的运动信息更新对应的预测框。本申请提高了轨迹预测的精度,从而提高了多目标跟踪精度。
-
公开(公告)号:CN116051633A
公开(公告)日:2023-05-02
申请号:CN202211618478.1
申请日:2022-12-15
Applicant: 清华大学
IPC: G06T7/73 , G06T19/00 , G06N3/08 , G06N3/045 , G06N3/0464
Abstract: 本申请提供了一种基于加权关系感知的3D点云目标检测方法及装置,所述方法包括:获取原始3D点云数据;利用PointNet++网络对原始3D点云数据进行处理,得到多个种子点;利用预先训练完成的共享投票模型对多个种子点进行处理,得到包括多个投票的投票集群;对投票集群进行采样和分组,得到多个目标候选;利用预先训练完成的加权关系感知提案生成模型对目标候选进行更新,得到更新的目标候选;利用多层感知机对更新的目标候选的进行处理,得到对象提议;对对象提议进行解码,得到目标检测结果。本申请能够提高3D点云数据的目标检测的精度。
-
公开(公告)号:CN115959317A
公开(公告)日:2023-04-14
申请号:CN202310006312.2
申请日:2023-01-04
Applicant: 清华大学
IPC: B64U70/93
Abstract: 本申请提供了一种空地协同的无人机起降系统,涉及车载无人机平台技术领域,所述系统包括:车载无人机机场、调平模块和协同降落模块;所述车载无人机机场能够进行位移调整和姿态调整,用于实现无人机的起降;所述调平模块,用于对车载无人机机场进行调平控制,使车载无人机机场保持水平;所述协同降落模块,用于获取车载无人机机场的位置和速度以及无人机的位置和速度,由此控制车载无人机机场的运动同时引导无人机的降落飞行,实现车载无人机机场和无人机的协同降落。本申请的系统可以提高无人机在车载无人机机场上的降落速度。
-
公开(公告)号:CN115718485A
公开(公告)日:2023-02-28
申请号:CN202211119587.9
申请日:2022-09-14
Applicant: 清华大学
IPC: G05D1/02
Abstract: 本发明提出了一种陆空两栖无人车自动模态切换与地面避障的训练方法,该方法包括:步骤1)基于Gazebo仿真器构建训练场景;步骤2)基于机器学习强化学习原理,将路空两栖无人车在训练场景中获取的感知信息输入决策神经网络,采用∈贪婪方法与好奇心驱动结合的策略规划行进轨迹及切换运动模态,将动作指令传入Gazebo仿真器指挥无人车运动;步骤3)将运动相关数据存入经验池,基于n步时序差分法从经验池中随机抽取若干组数据对决策神经网络进行优化;转至步骤2)直至无人车触发终止条件或满足预设的训练步长,则终止一个训练周期;步骤4)当未达到训练周期总数,转至步骤1)开始一个新的训练周期,否则得到训练好的决策神经网络。
-
-
-
-
-
-
-
-
-