-
公开(公告)号:CN112083832B
公开(公告)日:2023-06-30
申请号:CN202010930016.8
申请日:2020-09-07
摘要: 本发明提供一种基于IMU和红外感应的可移植触碰屏装置,包括鼠标指环、红外感应装置、鼠标控制装置。鼠标指环包括指环,惯性测量模块,第一数据采集模块,第一无线通信模块,第一可充电电池和第一无线充电模块;红外感应装置包括红外感应装置主体,红外感应器,微型红外发射模块,第二数据采集模块,第二无线通信模块,第二可充电电池和第二无线充电模块;鼠标控制装置包括:控制装置主体,以及设于所述控制装置主体上第三无线通信模块、数据处理模块和物理通信接口。本发明采用指环实现了电子触碰屏的功能,用户通过佩戴鼠标指环运动实现对目标设备的操控,具有携带便捷、使用美观的优点,同时具有较高的可移植性,减小了用户的经济成本。
-
公开(公告)号:CN112247981B
公开(公告)日:2022-01-04
申请号:CN202010713413.X
申请日:2020-07-22
摘要: 本申请公开了一种基于脑机接口的下棋助残机械臂异步系统。其中,包括脑‑机接口模块和算法模块用于采集用户的脑电信号并发送至机械臂模块;机械臂模块用于接收用户控制命令,并在棋盘模块上执行用户控制命令;对弈模块用于从ROS智能物联平台接收机械臂模块执行的用户控制命令,计算下一步的对弈控制命令,启动模块用于通过采集用户唇部区域的肌电信号,将其转换为状态控制命令,通过ROS智能物联平台切换下棋助残机械臂异步系统的状态。本申请依据多个模块以及ROS智能物联平台组成的下棋助残机械臂异步系统,使其能够更加全面、精准的帮助用户实现人机下棋,从而提高用户的逻辑思维能力、规则把控能力、提高记忆力、缓解压力和提高抗压扛挫折能力。
-
公开(公告)号:CN112084927A
公开(公告)日:2020-12-15
申请号:CN202010918333.8
申请日:2020-09-02
摘要: 本发明公开了一种融合多种视觉信息的唇语识别方法,包含如下步骤:利用头戴式摄像采集设备对唇语图像进行采集;对采集到的视频数据根据采集对象、采集批次进行分类存放;把每个视频样本逐帧分解,对图像去噪处理,处理后的图像再做裁剪,只保存特定大小的唇部图像;搭建自监督光流生成网络,把采集的数据输入生成网络中;把真实图像、光流数据和深度图像分别输入到搭建好的三流融合训练网络中进行识别任务训练,并输出最终的唇语识别结果。本发明所拍摄的数据更多关注在人脸的唇部区域,在使用神经网络训练之前也减少了对唇部区域进行识别裁剪的步骤,因此识别效率得到了很大提升。
-
公开(公告)号:CN111967334A
公开(公告)日:2020-11-20
申请号:CN202010699862.3
申请日:2020-07-20
摘要: 本发明公开了一种人体意图识别方法,所述方法包括:实时采集当前人体的特征信号;基于所述特征信号生成所述当前人体对应的多源数据特征以及眼睛选定的注视点坐标;识别所述多源数据特征以及眼睛选定的注视点坐标,生成所述多源数据特征对应的语音文本以及所述注视点坐标对应的场景图像描述文本;针对所述语音文本以及场景图像描述文本进行实体抽取,生成所述语音文本以及场景图像描述文本对应的实体片段;采用共指消解算法处理所述实体片段,生成目标对象;基于所述语音文本、场景图像描述文本以及目标对象,生成人体意图识别结果。因此,采用本申请实施例,通过针对特定场景的口眼协同交互信息处理后得到识别结果,从而提升了机器识别人体意图的准确率。
-
-
公开(公告)号:CN111967334B
公开(公告)日:2023-04-07
申请号:CN202010699862.3
申请日:2020-07-20
摘要: 本发明公开了一种人体意图识别方法,所述方法包括:实时采集当前人体的特征信号;基于所述特征信号生成所述当前人体对应的多源数据特征以及眼睛选定的注视点坐标;识别所述多源数据特征以及眼睛选定的注视点坐标,生成所述多源数据特征对应的语音文本以及所述注视点坐标对应的场景图像描述文本;针对所述语音文本以及场景图像描述文本进行实体抽取,生成所述语音文本以及场景图像描述文本对应的实体片段;采用共指消解算法处理所述实体片段,生成目标对象;基于所述语音文本、场景图像描述文本以及目标对象,生成人体意图识别结果。因此,采用本申请实施例,通过针对特定场景的口眼协同交互信息处理后得到识别结果,从而提升了机器识别人体意图的准确率。
-
公开(公告)号:CN112084927B
公开(公告)日:2022-12-20
申请号:CN202010918333.8
申请日:2020-09-02
IPC分类号: G06V40/20 , G06V20/00 , G06V10/30 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/04 , G06N3/08
摘要: 本发明公开了一种融合多种视觉信息的唇语识别方法,包含如下步骤:利用头戴式摄像采集设备对唇语图像进行采集;对采集到的视频数据根据采集对象、采集批次进行分类存放;把每个视频样本逐帧分解,对图像去噪处理,处理后的图像再做裁剪,只保存特定大小的唇部图像;搭建自监督光流生成网络,把采集的数据输入生成网络中;把真实图像、光流数据和深度图像分别输入到搭建好的三流融合训练网络中进行识别任务训练,并输出最终的唇语识别结果。本发明所拍摄的数据更多关注在人脸的唇部区域,在使用神经网络训练之前也减少了对唇部区域进行识别裁剪的步骤,因此识别效率得到了很大提升。
-
公开(公告)号:CN113361484A
公开(公告)日:2021-09-07
申请号:CN202110773615.8
申请日:2021-07-08
摘要: 本发明公开了一种针对EEG信号分类任务的深度学习网络架构搜索方法,包括如下步骤:根据具体的脑‑机接口任务,采集用户一定量的脑电信号,对采集脑电信号进行降采样,再进行带通滤波。利用处理好的脑电信号,进行深度学习网络架构的搜索;设置网络架构参数,在训练集上计算最优的模型内部可学习参数,固定模型结构不变,使用梯度下降法来获得内部可学习参数,输出最终的网络结构。本发明具有便于集成,且集成成本低的优点,经典基于深度学习的脑电接口系统开发需要事先人为设计出一个网络架构,而本方法可以改变人为设计的过程,利用深度学习网络完成自动设计,所以不需要对现有脑‑机接口系统开发流程作较大的修改,便于集成到现有系统中。
-
公开(公告)号:CN112099330A
公开(公告)日:2020-12-18
申请号:CN202010899876.X
申请日:2020-08-31
摘要: 本发明公开了一种结合外部相机和穿戴式显控设备的全息人体重建方法,其步骤为:将四个外部RGBD相机分别放置于要重建场景的四个角落;在无干扰的场景中,获取要重建的人的点云特征,进行非刚体特征提取;利用霍夫变换获得瞳孔位置及中心坐标,将左右眼图片以及瞳孔中心坐标输入神经网络中预测注视点坐标;将预先采集好的肌电信号与指令相对应的数据集,输入到长短时记忆网络中进行训练;将肌电信号输入到训练好的模型中,识别出与之相对应的指令并传递给计算机,进行细节部分拟合来得到最终的重建模型;最后用增强现实技术对最终的重建模型进行显示。本发明中只需要利用一组多视角点云图就可以完成相机的标定得出外参矩阵,省时省力。
-
公开(公告)号:CN113269158B
公开(公告)日:2022-11-25
申请号:CN202110773620.9
申请日:2021-07-08
摘要: 本发明公开了一种基于广角相机和深度相机的增强现实手势识别方法,其步骤包括:通过AR眼镜正中央的深度相机获取视线正前方锥体范围内的深度图像,通过眼镜两侧的广角相机获取广角范围内的彩色图像;识别锥体范围内深度图像手部关节点3D坐标;预测广角范围内彩色图像手部关节点3D坐标;将椎体范围内的手势识别和广角范围手势识别结果进行融合,输出最后识别结果。本发明克服了深度相机手势识别范围小的问题,利用深度信息识别网络模型参数优化彩色信息识别网络,克服了广角相机手势识别精度不高的问题。
-
-
-
-
-
-
-
-
-