本发明公开了一种基于彩色相机与红外热成像仪特征融合的目标检测方法，包括以下步骤：a、通过彩色相机获得彩色数据集，通过红外热成像仪获得热红外数据集；b、将双模态数据集同时输入到双模态的YOLOv3神经网络算法中，提取目标的颜色特征与温度特征；在主干网络的某一层通过融合函数与1×1卷积块将两个模态的特征融合，然后选取融合后的特征图继续进行主干网络的特征提取，得到融合后的提取特征图；c、融合后的提取特征图输入到后续的卷积层中进行目标的分类，输出训练完成的双模态神经网络的算法模型。本发明融合温度与颜色信息，在双模态神经主干网络算法进行融合，输入分类层中进行目标的预测，增加目标的多种特征信息，提高目标识别准确性。