提供了用于基于机器学习的多页扫描的系统和方法。在一个实施例中，一个或多个处理设备执行操作，该操作包括：接收视频流，该视频流包括图像帧，图像帧捕获文档的多个页面。该操作还包括：经由机器学习模型检测新页面事件，该机器学习模型经训练以从视频流检测推断事件。新页面事件的检测指示多个页面中的可用于扫描的页面已从第一页面改变为第二页面。基于对新页面事件的检测，一个或多个处理设备从视频流捕获页面的图像帧。在一些实施例中，机器学习模型基于视频数据、惯性数据、音频样本、图像深度信息、图像统计、和/或其它信息的加权使用来检测事件。