本申请涉及视频图像处理技术领域，具体涉及一种基于视频算法的留置实时监测预警系统及方法，该方法包括：采集面部表情视频数据，获取每帧图像；计算每帧图像的面部特征点位移状态系数；构建情绪波动帧集合；计算情绪波动帧集合中每帧图像的各特征点的局部微表情变化指数；计算情绪波动帧集合中每帧图像的情绪波动显著指数；获取稠密光流算法的图像金字塔层数，计算待测人员的情绪波动状态值，对待测人员的情绪状态实时监测预警。本申请可提高捕捉面部表情变化的准确性，增加依据表情变化来实时监测预警的可靠性。