公开(公告)号：CN116682172A

公开(公告)日：2023-09-01

申请号：CN202310557432.1

申请日：2023-05-17

Applicant: 中铁二院工程集团有限责任公司

Inventor： 赵晟 ,  廖华 ,  陈苏 ,  虞凯 ,  向一帆 ,  苗齐秀 ,  谢联莲 ,  潘兆马 ,  王璞 ,  曾妮 ,  杨学锋 ,  陈梦婷 ,  陈忱 ,  詹青见

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/77 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/047 ,  G06N3/08

Abstract: 本发明涉及计算机技术领域，具体涉及一种基于多模态多层次信息融合的行为识别方法及系统，方法包括以下步骤：将目标视频切片生成视频片段，并根据视频片段生成输入行为人体骨骼点序列；将视频片段和行为人体骨骼点序列输入训练好的多模态多层次信息融合网络模型，得到行为类别，所述行为类别用于判断是否存在跌倒行为；所述多模态多层次信息融合网络模型包括视频特征提取网络、骨骼特征提取网络和中间层特征融合模块。本发明通过中间层特征融合模块结合了视频以及骨骼信息，能高效完成对目标行为的监测，进而能使相关人员采取相应措施，保证公共安全。