本发明提供一种基于残差神经网络的医学图像分类系统，涉及医学图像处理技术领域，包括：图像获取模块，被配置为获取待分类的大脑磁共振图像；预处理模块，被配置为对大脑磁共振图像进行图像预处理，得到多个感兴趣区域图像块；概率提取模块，被配置为利用预先构建的患病概率提取网络分别确定出多个感兴趣区域图像块对应的患病概率，根据各感兴趣区域图像块中感兴趣区域对应的区域权重和患病概率，确定个体患病概率；分类模块，被配置为根据个体患病概率，确定大脑磁共振图像所属的类别。该系统适用于对临床工作中获取的低维医学图像的分类，提高低维医学图像分类的准确性。