公开(公告)号：CN119478766A

公开(公告)日：2025-02-18

申请号：CN202411442950.X

申请日：2024-10-16

Applicant: 北京理工大学

Inventor： 戴嘉乐 ,  于珊平 ,  吴杨 ,  杨梓艺 ,  叶梓萌 ,  李佳琳 ,  任天宇

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开一种基于人工智能的异常视频检测方法、系统及终端，涉及电子信息技术领域。检测方法包括：将原始视频转换为帧序列，获得每一帧图像的高维特征向量；提取原始视频的文本特征，获得文本特征向量；采用Late Fusion方法及交叉模态注意力机制对高维特征向量及文本特征向量进行特征融合，获得多模态特征序列；采用多层Transformer编码器对多模态特征序列进行特征处理，获得处理后的特征序列；对处理后的特征序列进行后处理，获得异常信息值；配置异常信息阈值，当异常信息值大于异常信息阈值时，判断为异常视频；当异常信息值小于等于异常信息阈值时，判断为非异常视频。本发明能够充分利用多模态信息，优化特征融合结果，提高检测性能。