本发明提供了一种基于轨迹预测与尺寸决策的实时视频识别的方法，该方法包括：利用视频识别算法识别视频拍摄工具抓取的物体特征，输出识别出的目标信息；检查识别出的目标信息是否符合预设的置信度要求；进行稳定性检查；然后预测目标物体运动的轨迹；当目标物体运动轨迹、缓存数量以及识别结果的置信度符合预设的业务触发条件，则综合当前识别结果与系统中缓存的结果，优选出最终的稳定识别结果作为输出。本发明在不改变视频识别核心算法的基础上，利用多次识别结果的优选方法提升了识别结果稳定性和准确性，提高了视频监控与出入口管理的高效性和准确性。