本公开提供了下消化道内窥镜图像识别方法及系统。其中该方法包括获取下消化道部位图像并标注出待识别类别和识别干扰图像的辅助类别，划分成训练集和测试集；利用训练集和测试集训练和测试下消化道部位识别模型A和下消化道部位识别模型B；在进镜操作过程中，若下消化道部位识别模型A识别出当前下消化道内镜图像的类型为一级类别中的盲肠，且存在连续N张非相似图像均为盲肠的概率超过预设阈值，则开始退镜操作；N为大于或等于3的正整数；在退镜操作过程中，基于下消化道部位识别模型A和下消化道部位识别模型B对消化道内镜图像进行实时检测，排除属于辅助类别的图像，输出图像所属的一级类别和二级类别。