公开(公告)号：CN117520853A

公开(公告)日：2024-02-06

申请号：CN202311385177.3

申请日：2023-10-24

Applicant: 河南大学

Inventor： 张彦波 ,  蒋城 ,  任可 ,  王梦君 ,  王海洋 ,  刘博文 ,  王子靖 ,  程晴晴

IPC: G06F18/22 ,  G06F18/25 ,  G06V40/20 ,  G06V10/40 ,  G08G1/01 ,  G10L25/18

Abstract: 本发明提供一种基于多维信息融合的行人主观意图判断方法及系统。该方法包括：步骤1：获取目标车辆行驶过程中所在区域内多个视频源和音频源角度下的行人视频流信息和车内外的音频流信息；步骤2：对视频流信息和音频流信息进行分帧，对每帧图像和音频分别进行预处理；步骤3：提取图像中行人的肢体微动作特征和音频中人员的音频特征；步骤4：根据肢体微动作特征和音频特征分别判断当前图像和音频中是否存在故意制造事故的姿态变化行为和声音变化行为；步骤5：根据当前图像和音频的判断结果，综合判断是否存在疑似故意制造事故行为；步骤6：当目标车辆发生交通事故时，存储相关视频流信息和音频流信息，并语音提示综合判断结果。