本发明涉及图像识别技术领域，具体为基于TSN卷积网络的不安全行为检测方法。基于TSN卷积网络的不安全行为检测方法，针对铁路施工环境中的典型不安全行为进行视频、图片数据采集，由采集的图像数据建立不安全行为类别与概率映射模型，将实时数据代入不安全行为类别与概率映射模型得到输出，并将其代入Argmax分类器，选择具有最高概率值的类别作为输出，实现不安全行为检测。本发明通过提取视频流中人员行为特征并引入跨段机制对视频中时序信息的建模，大大提高了不安全行为监控的实时性和识别效率。