本发明公开一种基于双向跨模态注意力机制的RGB‑D大坝缺陷图像语义分割方法，对输入的RGB‑D大坝图像进行特征提取，利用两个并行的分层Transformer网络分阶段提取多种分辨率大小的RGB图像特征图和深度图像特征图；将各阶段提取到的两种特征图一起输送到特征校准模块CA‑FCM，利用通道注意力机制对来自两种模态的特征进行相互校准，过滤彼此的噪声信息；将同一级别校准后的特征送入特征融合模块CM‑FFM，基于跨模态注意力机制进一步地完善RGB特征图和深度特征图，并融合成单个特征图；将融合后的特征图由多层感知机组成的解码器进行解码，转换成语义分割图。本发明解决了对RGB‑D大坝缺陷图像特征提取不充分，以及无法有效融合RGB特征图和深度特征图的问题，从而提高了RGB‑D大坝缺陷图像语义分割的精度。