结合语言与视觉想象的脑电分类方法、系统、设备及介质

    公开(公告)号:CN118885864A

    公开(公告)日:2024-11-01

    申请号:CN202410738239.2

    申请日:2024-06-07

    摘要: 本申请公开了一种结合语言与视觉想象的脑电分类方法、系统、设备及介质,该方法将语言想象和视觉想象结合的时域脑电图信号输入至第一分支,并根据通道注意力子模块对第一分支进行特征增强,得到第一分支的输出结果;将变换后的频域脑电图信号输入至第二分支,并根据通道注意力子模块对第二分支进行特征增强,得到第二分支的输出结果;将第一分支的输出结果和第二分支的输出结果输入至交叉注意力子模块,得到交叉注意力子模块的输出结果;根据交叉注意力子模块的输出结果、第一分支的输出结果和第二分支的输出结果,训练双分支脑电分类模型,以便采用训练好的双分支脑电分类模型对目标脑电图信号进行分类。本申请能够提高脑电图的分类准确率。

    一种多模复合人机交互系统和方法

    公开(公告)号:CN117891341A

    公开(公告)日:2024-04-16

    申请号:CN202410021336.X

    申请日:2024-01-05

    摘要: 本发明公开了一种多模复合人机交互系统和方法,脑机交互模块采集大脑神经信号,通过信号处理和模式识别方法提取出神经信号中所包含的使用者控制意图并完成指令判定得到脑电指令;眼动追踪模块实现标定和追踪功能,将三维的视线方向映射为屏幕上的二维注视点坐标,根据注视点坐标进行眼动模式识别,完成指令判定得到眼动指令;语音交互模块识别语音并进行控制指令匹配,完成指令判定得到语音指令;手势识别模块识别使用者的手势,根据识别的手势和预设的手势‑指令对应关系完成指令判定得到手势指令;多模复合人机交互决策层融合模块根据脑电指令、眼动指令、语音指令、手势指令和预设的决策融合原则得到最后的控制指令,完成对外部设备的控制。

    一种人机协同智能远程感知与脑机控制系统

    公开(公告)号:CN118034490A

    公开(公告)日:2024-05-14

    申请号:CN202311743620.X

    申请日:2023-12-18

    摘要: 本发明公开了一种人机协同智能远程感知与脑机控制系统,人机协同智能远程感知部分通过360度图像实时拼接技术,实现对无人车周围环境的全方位感知,作战人员通过头部姿态测量技术将当前的头部姿态信息发送给无人车,无人车接收到信息后,从360度图像中截取与作战人员对应的视角下的图像,并将其送回作战人员所佩戴的头显AR设备进行显示,脑机接口远程控制部分基于脑机接口技术,通过监测作战人员的脑电活动,并将其转化为相应的指令,实现对无人车的远程操控。通过这种方式,使士兵准确地感知无人车周围的环境,从而提高了人机协同操作中对前方无人侦察车周边环境感知能力,并实现对无人车的远程精细操控。

    一种用户自定义的多模态交互设计方法、系统及设备

    公开(公告)号:CN117826990A

    公开(公告)日:2024-04-05

    申请号:CN202311785399.4

    申请日:2023-12-22

    摘要: 本发明公开了一种用户自定义的多模态交互设计方法、系统及设备,本方法通过获取交互窗口的服务注册信息;向多模态交互服务程序发送打开事件源配置页面的消息请求;通过多模态交互服务程序返回配置界面的描述信息,同时监听事件源的选择与参数输入,并与多模态交互服务程序进行交互,得到页面配置文件;解析页面配置文件,根据事件源和参数输入为对应的事件源识别算法提供算法参数;根据算法参数在多模态交互服务程序中开启相应算法识别,得到算法识别结果;对包括服务注册信息、算法识别结果、事件源、时间戳的事件源消息进行消息封装,并将封装的消息发送至交互窗口。本发明能够保证控制的准确率并且可扩展性强,能够高效率完成人机交互。