发明公开
- 专利标题: 人与无人机群手势、手形、语音协同多模态交互感知方法
-
申请号: CN202211552328.5申请日: 2022-12-05
-
公开(公告)号: CN116225212A公开(公告)日: 2023-06-06
- 发明人: 陈宏伟 , 唐亮 , 张熙阳 , 凌贤长 , 邱瑞 , 赵香萍 , 孙辉 , 丛晟亦 , 张钟远 , 毛小刚 , 田爽 , 孔祥勋
- 申请人: 哈尔滨工业大学 , 哈尔滨工业大学重庆研究院 , 中铁十七局集团有限公司 , 中铁十二局集团有限公司
- 申请人地址: 黑龙江省哈尔滨市南岗区西大直街92号; ; ;
- 专利权人: 哈尔滨工业大学,哈尔滨工业大学重庆研究院,中铁十七局集团有限公司,中铁十二局集团有限公司
- 当前专利权人: 哈尔滨工业大学,哈尔滨工业大学重庆研究院,中铁十七局集团有限公司,中铁十二局集团有限公司
- 当前专利权人地址: 黑龙江省哈尔滨市南岗区西大直街92号; ; ;
- 代理机构: 哈尔滨龙科专利代理有限公司
- 代理商 王恒
- 主分类号: G06F3/01
- IPC分类号: G06F3/01 ; G10L15/22 ; G10L21/0208 ; G10L25/24 ; G06V40/20 ; G06T7/13 ; G06T7/194 ; G06N3/0464 ; G06N3/08
摘要:
本发明公开了一种人与无人机群手势、手形、语音协同多模态交互感知方法,所述方法包括如下步骤:步骤1:构建人与无人机群交互的语音识别模型;步骤2:构建人与无人机群交互的手势识别模型;步骤3:构建基于语音和手势双模型自主识别集群编队协同控制的交互框架,输入手形、姿态、语音3个交互通道信息,用于获取手势和语音命令动作,采用基于双通道切换的通道融合实现机制,实现交互框架中的多模态交互。本发明通过构建基于语音和手势双模型自主识别集群编队协同控制和基于双通道切换的通道融合的交互框架来实现人与无人机群机多模态交互,可以准确并高效的通过语言和手势实现人与无人机群智能协同多模态感知。