公开(公告)号：CN116630926A

公开(公告)日：2023-08-22

申请号：CN202310652726.2

申请日：2023-06-02

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  宫彦 ,  鲁建丽 ,  周沫 ,  李志伟 ,  徐大中

IPC: G06V20/56 ,  G06N3/0464 ,  G06V10/40 ,  G06V10/82 ,  G06V10/762 ,  G06V10/24 ,  G06V10/774 ,  G06V10/26 ,  G06V20/70 ,  G06N3/08

Abstract: 本申请提供了一种基于斜卷积的弯曲车道线快速检测方法，涉及智能驾驶技术领域，所述方法包括：获取当前时刻的目标区域的RGB图像；利用预先训练完成的斜卷积车道线检测模型对RGB图像进行处理，得到行锚上的车道线的坐标信息；所述斜卷积车道线检测模型通过空间注意力的可变形卷积网络提取旋转后RGB图像的整条车道线信息。本申请提高了弯曲车道线的检测速度和精度。

公开(公告)号：CN111950467A

公开(公告)日：2020-11-17

申请号：CN202010817467.0

申请日：2020-08-14

Applicant: 清华大学

Inventor： 张新钰 ,  李志伟 ,  李骏 ,  宫彦 ,  高鑫 ,  刘华平

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于注意力机制的融合网络车道线检测方法及终端设备，所述方法包括：同步采集路面的自然图像和点云数据；将自然图像和点云数据输入预先建立和训练好的融合网络，输出车道检测结果；所述融合网络采用加入时序帧和注意力机制对点云数据和自然图像进行信息融合处理。本发明使用连续帧来提高检测网络性能，以应对标记丢失、车辆遮挡等复杂情况；通过Skip Connection将低维度特征与高维度特征进行拼接，以弥补随着网络深度增加而不断丢失的图像细节信息，利用Decoder还原图像得到最终结果；该融合网络大大提高了车道线的检测性能，并可在各种复杂环境进行检测。

公开(公告)号：CN114037834B

公开(公告)日：2022-09-13

申请号：CN202111454268.9

申请日：2021-12-01

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  宫彦 ,  王良宇 ,  李志伟 ,  吴新刚

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/44 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供了一种基于振动信号和RGB图像融合的语义分割方法及装置，涉及自动驾驶技术领域，包括：将RGB图像和振动信号输入预先训练完成的车道线检测模型，车道线检测模型包括视觉图像分割分支和振动信号分类分支，视觉图像分割分支包括压线检测子网络和车道线检测子网络；振动信号分类分支对振动信号进行特征提取及分类，得到车轮是否压线的二分类标签；压线检测子网络对RGB图像进行处理，得到车轮是否压线的预测结果；根据车轮是否压线的预测结果与二分类标签计算第一损失函数值值，更新车道线检测子网络的部分参数，利用更新参数的车道线检测子网络对RGB图像进行处理，得到车道线检测结果。本申请能够提高车辆变换车道时的车道线检测效果。

公开(公告)号：CN114037834A

公开(公告)日：2022-02-11

申请号：CN202111454268.9

申请日：2021-12-01

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  宫彦 ,  王良宇 ,  李志伟 ,  吴新刚

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/44 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供了一种基于振动信号和RGB图像融合的语义分割方法及装置，涉及自动驾驶技术领域，包括：将RGB图像和振动信号输入预先训练完成的车道线检测模型，车道线检测模型包括视觉图像分割分支和振动信号分类分支，视觉图像分割分支包括压线检测子网络和车道线检测子网络；振动信号分类分支对振动信号进行特征提取及分类，得到车轮是否压线的二分类标签；压线检测子网络对RGB图像进行处理，得到车轮是否压线的预测结果；根据车轮是否压线的预测结果与二分类标签计算第一损失函数值值，更新车道线检测子网络的部分参数，利用更新参数的车道线检测子网络对RGB图像进行处理，得到车道线检测结果。本申请能够提高车辆变换车道时的车道线检测效果。

公开(公告)号：CN111950467B

公开(公告)日：2021-06-25

申请号：CN202010817467.0

申请日：2020-08-14

Applicant: 清华大学

Inventor： 张新钰 ,  李志伟 ,  李骏 ,  宫彦 ,  高鑫 ,  刘华平

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于注意力机制的融合网络车道线检测方法及终端设备，所述方法包括：同步采集路面的自然图像和点云数据；将自然图像和点云数据输入预先建立和训练好的融合网络，输出车道检测结果；所述融合网络采用加入时序帧和注意力机制对点云数据和自然图像进行信息融合处理。本发明使用连续帧来提高检测网络性能，以应对标记丢失、车辆遮挡等复杂情况；通过Skip Connection将低维度特征与高维度特征进行拼接，以弥补随着网络深度增加而不断丢失的图像细节信息，利用Decoder还原图像得到最终结果；该融合网络大大提高了车道线的检测性能，并可在各种复杂环境进行检测。