公开(公告)号：CN117274855A

公开(公告)日：2023-12-22

申请号：CN202311058507.8

申请日：2023-08-22

申请人： 杭州电子科技大学丽水研究院

发明人： 颜成钢 ,  金裕达 ,  郭雨晨 ,  赵思成 ,  孙垚棋 ,  朱尊杰 ,  高宇涵 ,  王鸿奎 ,  赵治栋 ,  殷海兵 ,  王帅 ,  张继勇 ,  李宗鹏 ,  丁贵广 ,  付莹 ,  李晓林 ,  沙雏淋

IPC分类号： G06V20/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464

摘要： 本发明公开了一种基于多维度信息交互的视频特征提取方法，首先进行数据集获取，采用现有的视频分类数据集；构建基于多维度信息交互的视频特征提取网络，包括前缀卷积网络、时空可分离编码器和视频分类器；之后构建损失函数，最后根据获取的数据集对构建的基于多维度信息交互的视频特征提取网络进行训练。本发明将时序信息交互与空间信息交互相结合，弥补了两者不能共存的短板。使用前缀卷积网络以及时间空间可分离注意力机制，减少了大量的算力开销。