本发明提供了基于深度学习的消化道疾病辅助诊断系统，包括内镜所在部位判断模块，其用于将内镜操作过程中实时获取的消化道部位图像传送至消化道部位识别模型，实时输出内镜在消化道的部位；病灶区域定位模块，其用于将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，识别病灶区域并进行标注；消化道疾病类型判断模块，其用于接收与内镜相关联的共聚焦激光显微内镜实时获取的共聚焦激光显微内镜图像输入至消化道疾病类型识别模型中，将得到的概率最大共聚焦疾病类型所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率。