本发明提供了一种基于多模态超声图像的血管病灶识别方法及装置，属于图像识别技术领域，其方法包括：基于基础特征提取子模块分别对灰度超声图像和彩色多普勒超声图像进行特征提取，获得多个灰度特征图和多个彩色特征图；基于多模态对齐子模块将彩色特征图与灰度特征图对齐，获得多个对齐特征图；基于多模态融合子模块将多个对齐特征图进行融合，获得融合特征图；依次基于特征融合模块和检测模块对融合特征图进行特征融合和检测，获得识别结果。本发明基于两种不同模态的超声图像对血管病灶进行识别，提高了血管病灶的识别准确性。