公开(公告)号：CN119229319A

公开(公告)日：2024-12-31

申请号：CN202411269784.8

申请日：2024-09-11

Applicant: 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心)

Inventor： 舒文强 ,  蒲艺 ,  倪千尧 ,  黄嵩 ,  周伯通 ,  杨烽 ,  丁忆 ,  李朋龙 ,  郑中 ,  范文武 ,  陈阳 ,  艾道骅 ,  赵雪然 ,  卢建洪 ,  李宇晗

IPC: G06V20/17 ,  G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了一种局部语义增强编码器、窗口语义增强Transformer块、航拍视频分类模型及方法。编码器包括窗口定位模块和窗口时间多头自注意力模块。窗口定位模块采用与局部窗口大小相同的无填充卷积核计算输入的视频特征的特征响应，并以此确定视频特征中特性响应最大的关键窗口区域，进而剥离出关键窗口区域内的局部视频特征。窗口时间多头自注意力模块计算出局部视频特征的窗口时间多头自注意力，并通过残差块将窗口时间多头自注意力加入视频特征中。如此不仅排除对运动信息不敏感的背景信息，避免对过长的视频序列计算自注意力所导致的计算量过高，提高了航拍视频识别的效率。还增强了航拍视频的局部运动信息，提高了后续航拍视频识别的准确率。