本发明公开了一种基于多模态多任务对抗学习的目标检测识别方法及装置，该方法将整个模型分成了特征提取阶段、区域提案阶段和多任务目标检测阶段三个部分。在特征提取阶段，采用多模态特征融合的方法，对输入数据的RGB图像和语义图像进行特征提取，使模型对于图像中目标的位置信息更加敏感，同时还增强了目标语义信息的提取；区域提案阶段用以生成随机窗口和提案框作为下阶段的输入；在多任务目标检测阶段中，采用多任务学习的方法，通过联合训练三个辅助任务来提高主任务的检测精度。对于目标检测网络，引入了对抗学习的思想，加入两个对抗式生成网络，用来生成多样式样本，提高模型的鲁棒性。