本发明提供了一种基于3D场景的背景过滤方法、装置、系统及计算机存储介质。所述背景过滤方法包括：获取3D场景的3D图像数据；基于所述3D图像数据和预定的背景过滤策略得到过滤背景后的3D图像数据；其中，所述预定的背景过滤策略包括：基于所述3D场景的背景记录建立的背景区域进行背景过滤、基于所述3D场景中物体的几何特征建立的背景区域进行背景过滤、基于所述3D场景的在一定区域内变化的物体建立的背景区域进行背景过滤或基于对所述3D场景的深度学习建立的背景区域进行背景过滤中的至少一个。根据本发明的方法、装置、系统及计算机存储介质，可以实现完全实时的背景过滤，为后续图像处理提供良好的基础。