一种多模态信息处理及交互系统

    公开(公告)号:CN112613534B

    公开(公告)日:2023-04-07

    申请号:CN202011416110.8

    申请日:2020-12-07

    Abstract: 本发明涉及一种多模态信息处理及交互系统,用于解决多模态交互系统中存在的模态融合方式简单,对话机制呆板的问题。包括多模态信息认知模块,多模态信息融合模块,以及多模态对话管理模块,其中,多模态信息认知模块用于对用户各模态交互信息进行识别,多模态信息融合模块利用D‑S证据理论将用户所有模态的交互信息进行意图融合,确定用户的最终交互意图,并得到对应于用户最终交互意图的可供机器识别的形式化指令;多模态对话管理模块针对多模态人机交互场景,采用有限状态机与信息槽填充方法相融合的对话管理模型,用于控制对话流程以及生成应答;本发明有效提高了用户交互意图识别准确率,实现了自然灵活的人机交互。

    一种多模态信息处理及交互系统

    公开(公告)号:CN112613534A

    公开(公告)日:2021-04-06

    申请号:CN202011416110.8

    申请日:2020-12-07

    Abstract: 本发明涉及一种多模态信息处理及交互系统,用于解决多模态交互系统中存在的模态融合方式简单,对话机制呆板的问题。包括多模态信息认知模块,多模态信息融合模块,以及多模态对话管理模块,其中,多模态信息认知模块用于对用户各模态交互信息进行识别,多模态信息融合模块利用D‑S证据理论将用户所有模态的交互信息进行意图融合,确定用户的最终交互意图,并得到对应于用户最终交互意图的可供机器识别的形式化指令;多模态对话管理模块针对多模态人机交互场景,采用有限状态机与信息槽填充方法相融合的对话管理模型,用于控制对话流程以及生成应答;本发明有效提高了用户交互意图识别准确率,实现了自然灵活的人机交互。

    一种基于寻岛算法的手势分割方法

    公开(公告)号:CN112613355B

    公开(公告)日:2022-07-26

    申请号:CN202011416832.3

    申请日:2020-12-07

    Abstract: 本公开的基于寻岛算法的手势分割方法,S1:获取手势网格图像矩阵A、高度m和宽度n;S2:根据高度m和宽度n遍历图像矩阵A的四个边界,保存网格值为1的网格坐标并将该网格值置为2;S3:针对每个网格值为2的网格,判断其相邻网格的值是否为1,若为1,保存相邻网格的坐标,计数值加1,将该相邻网格的值置为2;S4:针对每个相邻网格值为2的网格,判断其相邻网格值是否为1,若为1,保存其相邻网格坐标,将计数值加1。将该相邻网格值置为2,直到与该网格直接相邻和间接相邻的网格值均置为2为止;S5:重复S3‑S4,遍历图像矩阵A的所有网格;S6:返回最大计数值所对应的网格坐标,实现手势分割。能够从图像背景中提取用户的动态和静态手势。

    一种基于寻岛算法的手势分割方法

    公开(公告)号:CN112613355A

    公开(公告)日:2021-04-06

    申请号:CN202011416832.3

    申请日:2020-12-07

    Abstract: 本公开的基于寻岛算法的手势分割方法,S1:获取手势网格图像矩阵A、高度m和宽度n;S2:根据高度m和宽度n遍历图像矩阵A的四个边界,保存网格值为1的网格坐标并将该网格值置为2;S3:针对每个网格值为2的网格,判断其相邻网格的值是否为1,若为1,保存相邻网格的坐标,计数值加1,将该相邻网格的值置为2;S4:针对每个相邻网格值为2的网格,判断其相邻网格值是否为1,若为1,保存其相邻网格坐标,将计数值加1。将该相邻网格值置为2,直到与该网格直接相邻和间接相邻的网格值均置为2为止;S5:重复S3‑S4,遍历图像矩阵A的所有网格;S6:返回最大计数值所对应的网格坐标,实现手势分割。能够从图像背景中提取用户的动态和静态手势。

Patent Agency Ranking