本发明提供了基于深度学习的溃疡性结肠炎严重程度评估方法及系统。其中，该方法包括对白光结肠镜图像进行标注Mayo内镜下评分和溃疡性结肠炎内镜下活动指数评分，形成样本集；构建溃疡性结肠炎严重程度评估模型，利用样本集内已标注的白光结肠镜图像样本进行训练；溃疡性结肠炎严重程度评估模型为具有特征金字塔池化的SPPNet网络，输出包含4个softmax函数；实时接收白光结肠镜图像，利用溃疡性结肠炎严重程度评估模型输出Mayo内镜下评分、血管分型、自发出血和糜烂溃疡特征的评分预测结果，再将血管分型、自发出血和糜烂溃疡特征的评分预测结果累加，得到溃疡性结肠炎内镜下活动指数评分。其能够自动对炎症评分，同时满足两种临床最常用UC严重程度评分需要，结果准确性高且可重复性好。