本发明公开的属于新一代信息技术领域，具体为基于视频分类的视频头脉冲试验的智能诊断系统，包括具体步骤如下：使医生对受试者进行甩头试验，在此过程中，使用单目红外摄像头录制整个测试过程的视频，摄像头位于距离受试者正前方1米的位置，对拍摄的甩头试验视频进行剪切和筛选，输出以单次甩头为单位的视频片段，本发明使用前无需校准，检查过程对患者更加舒适，系统自动输出诊断结果，无需医生二次判断，能够显著提高检查效率，且本发明充分利用了深度学习在视频理解与医学图像分析领域的最新技术，设计端到端的框架，实现了半规管功能的自动评估。