一种基于小样本学习的第一人称行为识别方法和装置

    公开(公告)号:CN119314224A

    公开(公告)日:2025-01-14

    申请号:CN202411337275.4

    申请日:2024-09-25

    Abstract: 本发明涉及一种基于小样本学习的第一人称行为识别方法和装置,包括遵循小样本学习设置,通过第一人称视频样本构建元训练任务和元测试任务;利用元训练任务对第一人称行为识别模型进行元训练,其中,所述第一人称行为识别模型包括:特征提取模块和集合匹配度量模块;所述特征提取模块用于提取第一人称视频样本的多尺度视频特征;所述集合匹配度量模块用于根据第一人称视频样本的多尺度视频特征计算查询集中第一人称视频样本和支持集的匹配分数,并根据匹配分数识别用户的行为类别;利用训练好的第一人称行为识别模型对元测试任务进行用户行为识别,本发明能够提高模型的泛化能力和识别准确率,减小模型训练的计算量。

    一种基于视觉语言模型和图卷积的第一人称行为识别方法

    公开(公告)号:CN119152576A

    公开(公告)日:2024-12-17

    申请号:CN202411307539.1

    申请日:2024-09-19

    Abstract: 本发明属于图像处理与计算机视觉技术领域,涉及一种基于视觉语言模型和图卷积的第一人称行为识别方法,包括获取图像组数据集及其对应的标签提示词数据集;将标签提示词数据集、图像组数据集分别输入视觉语言模型CLIP的文本编辑器、视觉编辑器,得到文本特征集和视觉特征集;采用图卷积网络获取对偶融合知识图;对图像组数据集进行形状重塑后输入视觉编辑器得到重塑视觉特征;对重塑视觉特征进行形状重塑后输入时序融合模型得到时间视觉特征;将时间视觉特征与对偶融合知识图融合得到识别结果,根据识别结果计算损失反向传播训练;构建第一人称行为识别模型;采用第一人称行为识别模型进行识别;能够实现精确的行为识别。

Patent Agency Ranking