本发明公开了一种视频数据处理方法及齿轮箱RUL的预测方法，涉及计算机视觉技术领域和机械故障诊断领域；包括以下步骤：通过浅层聚类构建初始背景图，并通过增加聚类中心数量对背景图进行修正，获得真实场景的近似背景图；之后界定运动对象边界，降低散焦模糊区域与背景间的相似度；再确定重构时间节点并构建相邻帧矩阵，对相邻帧矩阵进行长轴的量化帧差获取沉积物质的有效信息集合；最后对相邻帧矩阵中对应的有效信息计算均值并在背景图中重构；将重构得到的特征图按一定比例划分训练集和验证集后送入卷积神经网络训练预测模型，实现对齿轮箱RUL预测任务。