本发明公开一种混凝土大坝缺陷时序图像智能识别方法，使用双流网络提取包含混凝土大坝缺陷的时序图像的特征序列，并添加时间维度的自注意力机制获取全局上下文特征关系；在模型的训练过程中，使用基于距离交并比的目标函数匹配定位缺陷和真实缺陷，计算缺陷的时序位置关系加速模型收敛；在模型损失函数中添加基于紧密感知交并比的损失项，以关注缺陷序列的完整性提高准确率；在完成缺陷定位后，采用基于2D时序差分的卷积神经网络提取缺陷特征并识别缺陷类型。本发明对混凝土大坝缺陷时序图像进行了有效检测，不仅能够定位长图像序列中的缺陷位置，还能够准确识别缺陷类型。在大坝缺陷时序图像的识别任务中具有较高的识别精度与较好的收敛性能。