公开(公告)号：CN116310963A

公开(公告)日：2023-06-23

申请号：CN202310167331.3

申请日：2023-02-27

Applicant: 北京邮电大学

Inventor： 张蓝姗 ,  杨萌宇 ,  刘洋 ,  田野 ,  王文东 ,  阙喜戎 ,  龚向阳

IPC: G06V20/40 ,  G06V10/44 ,  G06V10/82 ,  G06N3/045

Abstract: 本发明提供了一种基于自适应采样与推理的长视频高效识别系统与方法，解决对长的未裁剪视频的高效识别问题。本发明系统包括视频预处理模块、局部特征提取模块、全局语义推理模块和视频分类模块。本发明方法包括：将待识别视频预处理，输出尺寸标准化的视频帧序列；利用分层结构的局部特征提取模块定位不同的局部事件，利用全局语义推理模块在多个局部事件的基础上，推理整部视频全局的语义特征；利用视频分类模块映射输出视频分类分布。经试验验证，采用本发明的系统与方法，能更高效准确地完成对长的未裁剪视频的识别，解决长视频的高效识别问题，消除现有识别技术中心化的决策网络带来的弊端。

公开(公告)号：CN116189053A

公开(公告)日：2023-05-30

申请号：CN202310167318.8

申请日：2023-02-27

Applicant: 北京邮电大学

Inventor： 田野 ,  杨萌宇 ,  张蓝姗 ,  李九林 ,  王文东 ,  阙喜戎 ,  龚向阳

IPC: G06V20/40 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045

Abstract: 本发明提供了一种基于多模态的未修剪长视频识别系统及方法。本发明系统包括视频采集和预处理模块、待识别视频数据库、识别和检测模块以及结果数据库。本发明方法中利用识别和检测模块中的视频识别模型对视频多个模态的帧序列进行处理，对每个模态的帧序列使用多个采样器进行交互，定位局部事件，通过单模态语义推理模块对局部事件之间的时间因果关系进行推理，由子识别模块输出单模态预测分布，最后由多模态融合模块为不同模态分配注意力权值，进行多模态预测分布融合，输出视频级的多模态类别预测结果。本发明提升了未修剪长视频识别系统的推理效率以及识别精度，识别准确性明显超过了目前最优的视频识别方法。