公开(公告)号：CN118840634A

公开(公告)日：2024-10-25

申请号：CN202410800884.2

申请日：2024-06-20

Applicant: 清华大学

Inventor： 张新钰 ,  王力 ,  郑莉 ,  张皓明 ,  郭翼天

IPC: G06V10/80 ,  G06V10/26 ,  G06V10/82 ,  G06V10/25

Abstract: 本申请提供一种基于联合编码的图像与点云数据融合方法及装置，该方法包括：对RGB图像进行语义分割得到前景图像和背景图像；对点云数据进行体素化处理；将体素的中心点转换到相机坐标系得到对应的像素；根据各体素对应的像素和前景图像确定多个前景体素；获取每个前景体素对应的前景像素的圆形区域内的邻近前景像素，对各邻近前景像素的特征进行融合得到融合特征，将融合特征叠加到前景像素的第一特征得到前景像素的第二特征；将前景体素的体素特征和第二特征进行叠加得到第三特征；利用自注意力模型对所有前景体素的第三特征进行处理，得到所有前景体素的第四特征。本申请利用图像前景信息融合两个模态特征，能够增强路侧灯塔的感知能力。

公开(公告)号：CN115375910B

公开(公告)日：2023-04-14

申请号：CN202211116427.9

申请日：2022-09-14

Applicant: 清华大学

Inventor： 张新钰 ,  王力 ,  张皓明 ,  谢涛 ,  李骏 ,  吴新刚 ,  李金伦

IPC: G06V10/40 ,  G06V10/774 ,  G06V10/80

Abstract: 本申请提供了一种基于注意力机制的点云特征提取方法及装置，涉及智能驾驶技术领域，该方法包括：利用预先训练完成的编码器对点云数据进行逐层下采样及升维处理，得到第一特征金字塔；利用预先训练完成的解码器对第二特征金字塔的第T层点云特征数据分别进行两次上采样处理，得到上采样数据及第二特征金字塔的初始第T‑1层点云特征数据；向下逐层进行处理，直至得到第二特征金字塔的初始第零层点云特征数据；对第一特征金字塔的第零层点云特征数据、第二特征金字塔的初始第零层点云特征数据和上采样数据进行交叉注意力机制处理，得到最终的点云特征数据。本申请能够降低点云特征上采样时的语义信息损失，提高主干网络的点云特征提取性能。

公开(公告)号：CN115375910A

公开(公告)日：2022-11-22

申请号：CN202211116427.9

申请日：2022-09-14

Applicant: 清华大学

Inventor： 张新钰 ,  王力 ,  张皓明 ,  谢涛 ,  李骏 ,  吴新刚 ,  李金伦

IPC: G06V10/40 ,  G06V10/774 ,  G06V10/80

Abstract: 本申请提供了一种基于注意力机制的点云特征提取方法及装置，涉及智能驾驶技术领域，该方法包括：利用预先训练完成的编码器对点云数据进行逐层下采样及升维处理，得到第一特征金字塔；利用预先训练完成的解码器对第二特征金字塔的第T层点云特征数据分别进行两次上采样处理，得到上采样数据及第二特征金字塔的初始第T‑1层点云特征数据；向下逐层进行处理，直至得到第二特征金字塔的初始第零层点云特征数据；对第一特征金字塔的第零层点云特征数据、第二特征金字塔的初始第零层点云特征数据和上采样数据进行交叉注意力机制处理，得到最终的点云特征数据。本申请能够降低点云特征上采样时的语义信息损失，提高主干网络的点云特征提取性能。

公开(公告)号：CN115223019B

公开(公告)日：2023-05-19

申请号：CN202210834515.6

申请日：2022-07-14

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  王力 ,  宋新宇 ,  张皓明 ,  周沫

IPC: G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06V10/26 ,  G06V10/50 ,  G06V20/50 ,  G06N3/045 ,  G06N3/0464 ,  G01S17/86 ,  G01S17/88 ,  G08G1/14

Abstract: 本发明公开了一种基于相机和激光雷达融合的全天时停车位检测方法，所述方法包括：步骤1)利用设置在场端的摄像头和激光雷达分别获取停车场的RGB图像和点云数据，通过标定和对齐，将点云投影到RGB图像上；步骤2)根据停车位的先验信息，将RGB图像对应停车位进行分割，将标定和对齐后的点云对应车位进行分割；步骤3)将分割后的点云数据通过球面投影变换为距离图像；步骤4)把距离图像和分割后的车位RGB图像经拼接后输入词嵌入层进行向量切分，再输入Transformer编码器进行特征提取；步骤5)将特征提取得到的特征向量输入分类网络，得到对应停车位的分类结果，所述分类结果包括停车位空闲或占用。

公开(公告)号：CN115223019A

公开(公告)日：2022-10-21

申请号：CN202210834515.6

申请日：2022-07-14

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  王力 ,  宋新宇 ,  张皓明 ,  周沫

IPC: G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06V10/26 ,  G06V10/50 ,  G06V20/50 ,  G06N3/04 ,  G01S17/86 ,  G01S17/88 ,  G08G1/14

Abstract: 本发明公开了一种基于相机和激光雷达融合的全天时停车位检测方法，所述方法包括：步骤1)利用设置在场端的摄像头和激光雷达分别获取停车场的RGB图像和点云数据，通过标定和对齐，将点云投影到RGB图像上；步骤2)根据停车位的先验信息，将RGB图像对应停车位进行分割，将标定和对齐后的点云对应车位进行分割；步骤3)将分割后的点云数据通过球面投影变换为距离图像；步骤4)把距离图像和分割后的车位RGB图像经拼接后输入词嵌入层进行向量切分，再输入Transformer编码器进行特征提取；步骤5)将特征提取得到的特征向量输入分类网络，得到对应停车位的分类结果，所述分类结果包括停车位空闲或占用。