一种基于多模态时空特征融合的武术动作评分与识别方法

    公开(公告)号:CN118887724A

    公开(公告)日:2024-11-01

    申请号:CN202410732300.2

    申请日:2024-06-06

    申请人: 上海大学

    发明人: 李洺璇 田丰

    摘要: 本发明涉及一种基于时空特征融合的武术动作评分与识别方法,包括五个步骤:步骤1,创建武术动作质量评分与识别视频数据集;步骤2,将步骤1整理的武术视频数据集转换为动作骨架输入时序语义对比模型当中,进行时间编码器的预训练;步骤3,将步骤2整理的骨架序列分别输入网络的时间编码器与空间编码器,得到深层与浅层时间序列特征与空间序列特征;步骤4,使用步骤3中的多模态序列特征,通过动作识别编码器预测帧序列动作种类分类结果,通过评分模型预测动作得分;步骤5,使用步骤4得到的网络模型进行系统的移植,设计出对于武术评分与识别的应用。本发明可以准确的评分,给武术比赛自动化评估带来一种新思路。