一种基于时空场景图推理的视频情感识别方法

    公开(公告)号:CN118038306A

    公开(公告)日:2024-05-14

    申请号:CN202211419759.4

    申请日:2022-11-14

    摘要: 本发明涉及一种基于时空场景图推理的视频情感识别方法,包括以下步骤:1)从待识别视频中提取特征信号;2)计算各个视频帧中所述对象区域的交并比,构成空间图;计算相邻视频帧中对象特征间的相似性,构成时间图;将时间图和空间图整合成时空场景图;3)建立对象分支模型,并基于对象分支模型得到视频对象特征;4)采用I3D网络提取时空特征构成场景分支模型,再利用对象特征训练场景分支模型,得到对象和场景分支的特征,将得到特征进行拼接得到视频特征;5)将视频特征作为融合特征对视频进行情感分类。能够解决网络短视频中的场景和对象高度多样化,以及视频中的对象间存在复杂的时空关联的问题。有利于提高网络短视频的情感的分类精度。