本发明为一种基于视频图像识别的服务器故障辅助诊断系统及方法，包括故障特征库模块、服务器面板问题知识库模块、视频解析模块、分帧图像处理模块、综合诊断模块、解决方案检索反馈模块及视频采集模块。建立服务器面板指示灯特征库，实现各个类型服务器运行指标及故障问题解决方案专业知识积累库；服务器运维人员通过移动设备摄像头对服务器面板运行情况采集视频，对采集的视频逐帧分析，截取有规律的故障周期片段，对片段中的每一帧画面与特征库进行对比，有规律的连续帧的图像信息对比结果形成综合故障特征，并与故障知识库进行匹配，将匹配到的运行指标说明和故障解决方案反馈给运维人员，降低了运维人员的专业要求，并辅助快速定位问题，给出故障解决方案。