公开(公告)号：CN118658093A

公开(公告)日：2024-09-17

申请号：CN202410759579.3

申请日：2024-06-13

Applicant: 中国矿业大学

Inventor： 姚睿 ,  冯倩 ,  周勇 ,  祝汉城 ,  刘兵 ,  邵志文

IPC: G06V20/40 ,  G06N3/0442 ,  G06N3/045 ,  G06V10/82 ,  G06V10/25 ,  G06N3/0464 ,  G06V10/80 ,  G06N3/048 ,  G06V10/74

Abstract: 本发明公开了一种基于双重稀疏长短期Transformer的视频阴影检测方法，先将第一帧图像输入微调SAM模型生成参考帧伪掩码，并用于初始化长短期记忆库，然后将当前帧图像输入编码器提取查询特征，同时从长短期记忆库读取长短期记忆特征，然后引入阴影分区机制获取仅关注阴影分区的注意力值，将查询特征、长短记忆特征和仅关注阴影分区的注意力值一起输入到双重稀疏长短期Transformer模块，同时学习全局视觉信息和局部阴影信息，最后利用解码器生成当前帧图像的预测掩码，并将查询特征和预测掩码组成新的记忆特征，直接存储进短期记忆库，通过长期记忆库更新模块存储进长期记忆库。本发明方法充分利用了Transformer的强大优势，结合阴影区域上下文和时间一致性来增强阴影外观学习的能力。