-
公开(公告)号：CN112120716B
公开(公告)日：2024-08-20
申请号：CN202010911658.3
申请日：2020-09-02
IPC分类号： A61B5/16 , A61B5/11 , A61B5/332 , A61B5/33 , A61B5/346 , A61B5/369 , A61B5/372 , A61B5/389 , A61B5/397 , A61B5/0533 , A61B5/00 , G06F3/01
摘要： 本发明公开了一种基于可穿戴式多模态情绪监测的装置。包括：VR眼镜，穿戴式多模态信号采集模块，智能计算模块；VR眼镜用于建立智能化交互性的现实社会场景的情绪诱发场景；穿戴式多模态情绪采集模块从佩戴者的头部、脸部、胸部以及手腕采集脑电、肌电、心电、皮肤电、眼部图像和嘴部图像的多模态生理信息；智能计算模块用于对多维信号进行预处理、对多模异质数据进行特征抽象、对多源特征进行协同表征与融合，运用多层感知机模型进行多任务回归学习，最后进行多维情绪的判别和结果的输出。本发明解决了传统情绪评估无定量分析、无测试器材等问题，为评估、监测多维情绪提供了可靠的实验范式、机制理论以及设备环境。
-
公开(公告)号：CN110413106B
公开(公告)日：2024-02-09
申请号：CN201910524878.8
申请日：2019-06-18
IPC分类号： G06F3/01 , G06F3/16 , G06F18/213 , G06N3/0499 , G06N3/084
摘要： 本发明涉及语音手势识别技术领域，特别涉及一种基于语音和手势的增强现实输入方法及系统。包括以下步骤：步骤一、采集EMG肌电信号，预处理；步骤二、特征提取；步骤三、判断有效性；步骤四、唤醒语音输入；步骤五、采集语音信号，对所述语音信号预处理；步骤六、特征提取；步骤七、语音识别出的文本显示；步骤八、采集MEMS手势信号；步骤九、预处理；步骤十、特征提取；步骤十一、对手势识别结果判断；步骤十二、对应文本完成输入。本发明在增强现实系统中通过手势和肌电实现虚拟输入界面的语音交互。
-
公开(公告)号：CN111966217B
公开(公告)日：2023-08-18
申请号：CN202010699868.0
申请日：2020-07-20
IPC分类号： G06F3/01 , G06F3/04886 , G06V40/20 , G06V40/18 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0442 , G06N3/0464 , G06N3/084
摘要： 本发明公开了一种基于手势和眼动的无人机控制方法，包括：数据手套将运动手势信息发送到混合现实眼镜；混合现实眼镜根据接收到的运动手势信息控制无人机飞行；无人机将视频流数据发送到混合现实眼镜；混合现实眼镜对接收到的视频流数据中的物体进行分类以及目标检测；数据手套将目标锁定手势信息发送到混合现实眼镜；混合现实眼镜根据接收到的目标锁定手势信息，锁定并标注目标。本发明的无人机控制方法，结合可穿戴的数据手套和混合现实眼镜，可以精确的控制无人机检测和锁定目标，而且基于混合现实环境进一步加强了虚拟现实环境体验感。
-
公开(公告)号：CN110928432B
公开(公告)日：2023-06-23
申请号：CN201911019754.0
申请日：2019-10-24
摘要： 本申请提供一种指环鼠标、一种鼠标控制装置及一种鼠标控制系统。其中，所述指环鼠标包括：指环主体、第一惯性测量模块、数据采集模块和第一无线通信模块；其中，所述第一惯性测量模块用于在所述指环主体佩戴于用户手指后，根据用户手指的运动产生第一惯性测量数据，以及将所述第一惯性测量数据发送至所述数据采集模块；所述数据采集模块用于将所述第一惯性测量数据通过所述第一无线通信模块发送给与目标设备连接的鼠标控制装置，以使所述鼠标控制装置根据所述第一惯性测量数据生成鼠标指令并根据所述鼠标指令对所述目标设备进行操控。本申请采用指环实现了鼠标的功能，从而不再依赖支撑面，提高操控的舒适性。
-
公开(公告)号：CN112099330B
公开(公告)日：2021-09-28
申请号：CN202010899876.X
申请日：2020-08-31
摘要： 本发明公开了一种结合外部相机和穿戴式显控设备的全息人体重建方法，其步骤为：将四个外部RGBD相机分别放置于要重建场景的四个角落；在无干扰的场景中，获取要重建的人的点云特征，进行非刚体特征提取；利用霍夫变换获得瞳孔位置及中心坐标，将左右眼图片以及瞳孔中心坐标输入神经网络中预测注视点坐标；将预先采集好的肌电信号与指令相对应的数据集，输入到长短时记忆网络中进行训练；将肌电信号输入到训练好的模型中，识别出与之相对应的指令并传递给计算机，进行细节部分拟合来得到最终的重建模型；最后用增强现实技术对最终的重建模型进行显示。本发明中只需要利用一组多视角点云图就可以完成相机的标定得出外参矩阵，省时省力。
-
公开(公告)号：CN113269158A
公开(公告)日：2021-08-17
申请号：CN202110773620.9
申请日：2021-07-08
摘要： 本发明公开了一种基于广角相机和深度相机的增强现实手势识别方法，其步骤包括：通过AR眼镜正中央的深度相机获取视线正前方锥体范围内的深度图像，通过眼镜两侧的广角相机获取广角范围内的彩色图像；识别锥体范围内深度图像手部关节点3D坐标；预测广角范围内彩色图像手部关节点3D坐标；将椎体范围内的手势识别和广角范围手势识别结果进行融合，输出最后识别结果。本发明克服了深度相机手势识别范围小的问题，利用深度信息识别网络模型参数优化彩色信息识别网络，克服了广角相机手势识别精度不高的问题。
-
公开(公告)号：CN112183389A
公开(公告)日：2021-01-05
申请号：CN202011058068.7
申请日：2020-09-29
摘要： 本发明公开了一种基于广角相机和深度相机的增强现实手势识别方法，其步骤包括：通过AR眼镜正中央的深度相机获取视线正前方锥体范围内的深度图像，通过眼镜两侧的广角相机获取广角范围内的彩色图像；识别锥体范围内深度图像手部关节点3D坐标；预测广角范围内彩色图像手部关节点3D坐标；将椎体范围内的手势识别和广角范围手势识别结果进行融合，输出最后识别结果。本发明克服了深度相机手势识别范围小的问题，利用深度信息识别网络模型参数优化彩色信息识别网络，克服了广角相机手势识别精度不高的问题。
-
公开(公告)号：CN112151030A
公开(公告)日：2020-12-29
申请号：CN202010928961.4
申请日：2020-09-07
摘要： 本发明公开了一种基于多模态的复杂场景语音识别方法，其步骤包括：若监测到所采集的用户唇部图像发生变化，则同步采集语音输入对应的音频信号、唇部图像信号和面部肌电信号，确定信号在空间和时间域的多源数据特征，使用语音识别模型对多源数据特征进行编码和建模，获得不同模态表达内容的共性信息，得到多模态语音信息，使用语言模型，合成文本。本发明还公开了基于多模态的复杂场景语音识别装置，包括数据采集模块、特征提取模块、编解码模块、文本合成模块和交互模块。本发明实现了在声带受损、高噪声、高封闭、高隐私性要求等复杂场景环境下的高效、准确、鲁棒的语音识别，为复杂人机交互场景提供了更可靠的语音交互技术和系统。
-
公开(公告)号：CN110442233B
公开(公告)日：2020-12-04
申请号：CN201910524900.9
申请日：2019-06-18
IPC分类号： G06F3/01
摘要： 本发明提供了一种基于手势交互的增强现实键鼠系统，包括：MEMS模块、EMG模块、红外光模块、电触觉刺激模块、听觉反馈模块、深度图像采集模块、视觉增强模块和综合处理模块；所述综合处理模块分别连接MEMS模块、EMG模块、红外光模块、电触觉刺激模块、听觉反馈模块、深度图像采集模块、视觉增强模块；所述听觉反馈模块、深度图像采集模块、视觉增强模块安装在所述增强现实眼镜上。本发明相比传统键盘和鼠标可实现更加自然的人机交互，具有更强的真实感，并且制作成本低、周期短；佩戴简单、轻便、通用性强，同时适用于多种应用场景；基于MEMS与EMG的多模态手势识别与触听觉反馈相结合的交互方法，相比于单模态交互性能更加稳定，用户体验更好。
-
公开(公告)号：CN111985335A
公开(公告)日：2020-11-24
申请号：CN202010699857.2
申请日：2020-07-20
IPC分类号： G06K9/00 , G06K9/62 , A61B5/0488
摘要： 本申请实施例中提供了一种基于面部生理信息的唇语识别方法及装置，采集唇部图像数据，进行预处理得到唇部图像预处理数据；采集面部肌电信号，进行预处理得到面部肌电预处理信号；根据唇部图像预处理数据以及面部肌电预处理信号，通过端到端神经网络模型识别处理后，得到唇部图像数据以及面部肌电信号对应的语言识别结果。本申请采用唇部图像以及面部肌电信号同时识别使用者要表达的语音，使用者无需发出声音便可以进行语言交流，且语音识别准确度高，识别装置可通过口罩、面罩形式更方便应用于日常生活中，用唇部图像及面部肌电信号的多模态信息对抗环境中的噪声干扰，提高对语音信息的感知和理解能力。
-
-
-
-
-
-
-
-
-
搜索结果
141 条记录 (耗时 0.077 秒)
