-
公开(公告)号：CN113505646A
公开(公告)日：2021-10-15
申请号：CN202110648665.3
申请日：2021-06-10
Applicant: 清华大学
Abstract: 本发明提出一种基于语义地图的目标搜索方法，属于机器人导航、计算机视觉领域。该方法首先建立语义关系图，对待进行目标搜索的空间建立导航图并选取采样点，在各采样点从多视角采集RGB图和深度图；机器人根据任一采样点单个视角的RGB图获得该视角中物体的语义掩膜，结合深度图完成该视角局部的三维语义重建；整合所有局部的三维语义重建，得到待进行目标搜索的空间的语义点云；去除点云中的z维数据并去噪，得到该空间的语义地图；机器人在语义地图中查询待搜索的目标物体是否为已知物体并执行相应的搜索策略；搜索完成后，更新未知目标物体与各父类物体的语义关系图。本发明可使机器人对真实环境具有良好感知能力，提高目标搜索的效率。
-
公开(公告)号：CN112990050B
公开(公告)日：2021-10-08
申请号：CN202110326713.7
申请日：2021-03-26
Applicant: 清华大学
Abstract: 本发明公开了一种基于轻量级特征金字塔结构的单目3D目标检测方法，包括：采集车载相机的RGB图像；将RGB图像输入预先建立和训练好的单目3D目标检测网络，输出目标检测结果；单目3D目标检测网络包括：特征提取网络、检测头和后处理模块；特征提取网络用于对RGB图像降采样提取高级语义特征，生成4倍、8倍和16倍下采样特征图并输入至检测头；检测头用于基于4倍下采样特征图生成候选关键点类别向量和候选关键点像素位置索引向量，基于4倍、8倍和16倍下采样特征图生成候选关键点3D回归框编码向量，并将候选关键点类别向量和3D回归框编码向量输出至后处理模块；后处理模块用于对3D回归框编码向量进行解码，并结合候选关键点类别向量输出目标检测结果。
-
公开(公告)号：CN113065590A
公开(公告)日：2021-07-02
申请号：CN202110326528.8
申请日：2021-03-26
Applicant: 清华大学
IPC: G06K9/62 , G06K9/00 , G06T7/80 , G06T7/38 , G06T7/11 , G06T5/50 , G06T5/00 , G06N3/08 , G06N3/04 , G01S17/89
Abstract: 本发明公开了一种基于注意力机制的视觉与激光雷达多模态数据融合方法，所述方法包括：同时采集自动驾驶车辆的激光雷达点云数据以及相机RGB图像；对激光雷达点云数据以及相机RGB图像进行预处理；通过球坐标变换将点云数据转换成距离图像；将距离图像和RGB图像输入预先建立和训练好的距离图像融合模型，输出最终的融合特征图；所述距离图像融合模型采用自注意机制对距离图像和RGB图像进行融合；将最终的融合特征图与带有坐标信息的距离图像连接到一起，通过空间坐标转换从二维图像还原到空间点云的表示形式。本发明的方法使用自注意机制有效地融合了多源信息，使两种数据优势互补，提高了3D目标检测算法的准确性。
-
公开(公告)号：CN112873211A
公开(公告)日：2021-06-01
申请号：CN202110206075.5
申请日：2021-02-24
Applicant: 清华大学
Abstract: 本发明属于机器人主动视觉感知、语言交互、雷达避障以及深度学习技术领域，尤其涉及一种机器人人机交互方法。本方法拍摄环境的RGB图像与深度图，并探测障碍物信息获取激光雷达数组，对获取数据进行归一化处理，构建人机交互中的问题编码网络将问题进行编码；构建图像特征提取网络，将RGB图像与深度图像信息提取成为一个特征矩阵，将激光雷达数据、问题编码和特征矩阵进行拼接得到特征融合矩阵；采用卷积网络获取数据融合矩阵作为周边环境的数据融合矩阵；训练一个循环神经网络作为导航器，将数据融合矩阵作为输入，输出导航结果，控制机器人运动方向。本方法实现了机器人自我导航，自我探索，人机交互等功能，提升机器人的智能性。
-
公开(公告)号：CN112744227A
公开(公告)日：2021-05-04
申请号：CN202110083068.0
申请日：2021-01-21
Applicant: 清华大学
Abstract: 本发明公开一种多模态陆空两栖车辆起降控制方法及控制装置、计算机存储介质，涉及车辆技术领域，以精确控制两栖车辆起降。该起降控制方法包括：接收多模态陆空两栖车辆的动力参数；采用多模态陆空两栖车辆的耦合动力学模型对动力参数进行处理，获得多模态陆空两栖车辆的动力控制参数；耦合动力学模型包括多模态陆空两栖车辆在着陆状态下的运动方程；多模态陆空两栖车辆在着陆状态下的运动方程由整车二自由度悬架动力学方程和着陆状态的六自由度运动方程确定；根据多模态陆空两栖车辆的动力控制参数控制多模态陆空两栖车辆起降。本发明提供的起降控制方法用于多模态陆空两栖车辆的起降控制。
-
Patent Agency Ranking
公开(公告)号：CN112734811A
公开(公告)日：2021-04-30
申请号：CN202110083050.0
申请日：2021-01-21
Applicant: 清华大学
IPC: G06T7/277
Abstract: 本发明公开了一种障碍物跟踪方法、障碍物跟踪装置和芯片，涉及障碍物跟踪技术领域，以解决现有技术中不能准确检测，跟踪障碍物的问题。所述障碍物跟踪方法包括：获取当前帧障碍物信息，根据当前帧障碍物信息建立当前帧障碍物模型链表；确定当前帧障碍物信息所在数据帧大于初始帧的情况下，根据当前帧障碍物模型链表和前一帧障碍物轨迹链表，获得当前帧轨迹链表；根据当前帧轨迹链表对当前帧障碍物进行追踪。其中，每帧轨迹链表包括：当前帧障碍物轨迹标识、当前帧障碍物模型位置、预测的下一帧障碍物模型位置、卡尔曼滤波器、累计帧数M、累计匹配帧数F、累计未匹配帧数E，M＝F+E。本发明提供的障碍物跟踪装置和芯片用于执行上述障碍物跟踪方法。
-
公开(公告)号：CN111860425B
公开(公告)日：2021-04-09
申请号：CN202010752038.X
申请日：2020-07-30
Applicant: 清华大学
Abstract: 本发明公开了一种深度多模态跨层交叉融合方法、终端设备及存储介质，所述方法包括：获取包含车道线的RGB图像和点云数据，并进行预处理；将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型，输出图像分割结果；所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合。本发明的方法将当前模态的当前层的特征与另一模态的后续所有层特征进行融合，既能将相似的或者相近的特征进行融合，也能将不相似的或者不相近的特征进行融合，对特征进行充分全面的融合；所有融合连接通过一个可学习的参数进行控制，使得融合更加灵活和智能，不用预设和固定融合方式；能够提高图像分割的准确度。
-
公开(公告)号：CN112017205A
公开(公告)日：2020-12-01
申请号：CN202010729645.4
申请日：2020-07-27
Applicant: 清华大学
Abstract: 本发明公开了一种激光雷达和相机传感器空间位置自动标定方法及系统，所述方法包括：调整激光雷达相对于相机传感器的空间位置，得到多组激光雷达和相机传感器的空间位置关系；对于一个空间位置关系，从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分；遍历所有的空间位置关系，得到多个总得分；从多个总得分中，选择最高总得分对应的激光雷达和相机传感器的空间位置关系，作为标定后的激光雷达和相机传感器的位置关系。
-
公开(公告)号：CN111311689B
公开(公告)日：2020-10-30
申请号：CN202010084392.X
申请日：2020-02-10
Applicant: 清华大学
Abstract: 一种激光雷达与相机相对外参的标定方法，用于对传感器融合系统进行标定，所述传感器融合系统包括激光雷达和相机；所述方法包括：将所述球体标志物放置在指定的位置，获取到同时刻的相机拍摄球体标志物的单帧图像，以及激光雷达扫描球体标志物的点云数据；对单帧图像进行处理，得到球体标志物的球心在相机坐标系下的二维坐标；对点云数据进行处理，得到球体标志物的球心在激光雷达坐标系下的三维坐标；上述二维坐标和三维坐标组成一对相互对应的2D‑3D位置数据对；调节所述球体标志物的位置，获得至少四对相互对应的2D‑3D位置数据对，由此对激光雷达坐标系和相机坐标系的转换关系进行求解，得到标定结果。本发明的方法具有操作简单，标定精度高的优点。
-
公开(公告)号：CN111553859A
公开(公告)日：2020-08-18
申请号：CN202010355681.9
申请日：2020-04-29
Applicant: 清华大学
IPC: G06T5/00
Abstract: 本发明公开了一种激光雷达点云反射强度补全方法及系统，所述方法包括：利用标定后的车载摄像头和激光雷达，获取同一路面的灰度图像和原始点云；使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图像；对原始点云进行预处理，得到原始点云反射强度投影图像和插值补全点云反射强度投影图像；将灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像，输入预先训练好的点云反射强度补全模型，输出补全点云反射强度投影图像。本发明提供的点云反射强度补全方法可以充分利用点云和图像之间的潜在关联，从而有效、准确地补全出激光雷达点云的反射强度图像。
-
-
-
-
-
-
-
-
-
Search Results
197
records
(took 0.038 seconds)
