本发明涉及计算机视觉领域、视频监控以及医疗康复等多个领域，尤其是一种基于深度学习的婴儿痉挛症临床发作视频识别方法。主旨在于结合计算机视觉技术精确定位患者活动情况，并实现自动识别患者是否发作。主要方案包括构建数据集，得到训练集和验证集，进行数据预处理；构建改进的vision transformer分类网络模型；把处理过的数据输入到改进的vision transformer分类网络中进行训练；观察训练模型收敛情况，判断损失函数是否过拟合，是否满足训练标准；如果满足训练标准则直接输出标准识别模型，不满足则找到符合预设标准的权重函数并且解冻数据集再次精化训练，得到满足标准的权重函数后输出标准婴儿痉挛症临床发作识别模型。