本实用新型提供一种基于视频的泥石流与落石监控装置及系统，包括第一基座、第二基座、第三基座、第四基座、第一横柱、第二横柱、第一侧梁和第二侧梁；第一横柱的两端分别与第一基座和第二基座转动连接；第二横柱的两端分别与第三基座和第四基座转动连接；第一侧梁的两端分别与第一基座和第三基座固定连接；第二侧梁的两端分别与第二基座和第四基座固定连接；第一横柱和第二横柱上设置有多个依次间隔分布的第一视频监控装置；第一侧梁和第二侧梁上设置有多个依次间隔分布的第二视频监控装置；第一基座上设置有用于驱动第一横柱转动的第一驱动装置；第三基座上设置有用于驱动第二横柱转动的第二驱动装置；在提高监控效率的同时节省了人工成本。