多模态意图识别方法、装置、电子设备和存储介质
摘要:
本申请提供一种多模态意图识别方法、装置、电子设备和存储介质。涉及人工智能技术领域,所述方法包括:获取待识别数据,所述待识别数据包括至少两种模态的数据,每一模态数据具有不同的数据类型;对所述待识别数据进行编码,得到每一模态数据的表示序列;将所述每一模态数据的表示序列作为节点特征,构建多模态异构图;通过基于注意力机制的全局视图对所述多模态异构图进行编码,得到所述多模态异构图的表示;根据所述多模态异构图的表示进行分类,得到意图识别结果。上述方法可有效地对多模态信息进行融合,采用多模态异构图提升用户交互意图识别准确率,实现自然灵活的人机交互。
0/0