人与无人机群手势、手形、语音协同多模态交互感知方法
摘要:
本发明公开了一种人与无人机群手势、手形、语音协同多模态交互感知方法,所述方法包括如下步骤:步骤1:构建人与无人机群交互的语音识别模型;步骤2:构建人与无人机群交互的手势识别模型;步骤3:构建基于语音和手势双模型自主识别集群编队协同控制的交互框架,输入手形、姿态、语音3个交互通道信息,用于获取手势和语音命令动作,采用基于双通道切换的通道融合实现机制,实现交互框架中的多模态交互。本发明通过构建基于语音和手势双模型自主识别集群编队协同控制和基于双通道切换的通道融合的交互框架来实现人与无人机群机多模态交互,可以准确并高效的通过语言和手势实现人与无人机群智能协同多模态感知。
0/0