本发明属于自动驾驶技术领域，具体为一种基于4D毫米波雷达和图像的融合3D目标检测方法。包括获取样本数据集，样本数据集包括4D毫米波雷达的点云和单目相机图像；基于样本数据集构建端到端3D目标检测网络，并进行训练；计算损失函数值，根据计算出的损失函数值反向传播更新端到端3D目标检测网络参数；利用更新好的端到端3D目标检测网络进行目标检测。本发明利用多模态数据之间的冗余性提升系统的鲁棒性，利用毫米雷达数据的高度稀疏性提升3D目标检测处理速率，并在此过程中，对4D毫米波雷达进行速度维度的特征工程处理，来保证自动驾驶场景下3D目标检测的精度。