本发明公开了一种输电线路下方异常行为检测系统及方法，该方法包括：控制器实时接收第一红外传感器和第二红外传感器发送的感应信号，在收到电子围杆内侧或者外侧存在的障碍物的感应信号后，锁定当前时刻为待检测时刻；控制器获取待检测周期的摄像头用于采集待检测周期内的视频流数据，发送给中心云服务器处预设的卷积神经网络模型；确定每个待检测视频流数据的视频帧的异常行为的目标框；对目标框中的物进行分类判别，确定目标框中的目标物；所述目标物包括异常行为实施人和鱼竿；上述检测系统具有完整的系统架构设计，能及时发现异常行为，减少安全风险和事故发生的可能性。