公开(公告)号：CN114037834B

公开(公告)日：2022-09-13

申请号：CN202111454268.9

申请日：2021-12-01

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  宫彦 ,  王良宇 ,  李志伟 ,  吴新刚

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/44 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供了一种基于振动信号和RGB图像融合的语义分割方法及装置，涉及自动驾驶技术领域，包括：将RGB图像和振动信号输入预先训练完成的车道线检测模型，车道线检测模型包括视觉图像分割分支和振动信号分类分支，视觉图像分割分支包括压线检测子网络和车道线检测子网络；振动信号分类分支对振动信号进行特征提取及分类，得到车轮是否压线的二分类标签；压线检测子网络对RGB图像进行处理，得到车轮是否压线的预测结果；根据车轮是否压线的预测结果与二分类标签计算第一损失函数值值，更新车道线检测子网络的部分参数，利用更新参数的车道线检测子网络对RGB图像进行处理，得到车道线检测结果。本申请能够提高车辆变换车道时的车道线检测效果。

公开(公告)号：CN114037834A

公开(公告)日：2022-02-11

申请号：CN202111454268.9

申请日：2021-12-01

Applicant: 清华大学

Inventor： 张新钰 ,  李骏 ,  宫彦 ,  王良宇 ,  李志伟 ,  吴新刚

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/44 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供了一种基于振动信号和RGB图像融合的语义分割方法及装置，涉及自动驾驶技术领域，包括：将RGB图像和振动信号输入预先训练完成的车道线检测模型，车道线检测模型包括视觉图像分割分支和振动信号分类分支，视觉图像分割分支包括压线检测子网络和车道线检测子网络；振动信号分类分支对振动信号进行特征提取及分类，得到车轮是否压线的二分类标签；压线检测子网络对RGB图像进行处理，得到车轮是否压线的预测结果；根据车轮是否压线的预测结果与二分类标签计算第一损失函数值值，更新车道线检测子网络的部分参数，利用更新参数的车道线检测子网络对RGB图像进行处理，得到车道线检测结果。本申请能够提高车辆变换车道时的车道线检测效果。