本发明公开了一种基于深度学习的小肠镜下淋巴瘤辅助诊断系统，包括：图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；训练集制作模块，选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；辅助诊断模块，构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。本发明基于神经网络算法对小肠镜下的淋巴瘤病变区域进行自动识别，医生只需要对识别存在病变的图像进行再次审核，极大地减轻了医生审阅图片的工作量。