本发明公开了一种用语义和视觉解释增强半导体缺陷分析的方法和系统，属于半导体缺陷分析领域。获取晶圆缺陷图像诊断数据集，包括晶圆缺陷SEM图像和诊断报告，所述诊断报告中包含针对多个缺陷诊断任务的句子；采用晶圆缺陷图像诊断数据集训练网络，该网络为基于空间‑通道注意力的编解码器结构；在训练过程中，需将对应缺陷诊断任务的句子作为解码器输入，引导解码器生成目标句子；利用训练后的多任务的缺陷图像诊断网络分析晶圆缺陷SEM图像。本发明设计了包含不同诊断任务的诊断报告，为晶圆缺陷SEM图像诊断提供了一个新的视角；提出的多任务的缺陷图像诊断网络相对于其他基线，在达到更高的准确率和BLEU的同时消耗了更少的时间。