-
-
公开(公告)号：CN111967334B
公开(公告)日：2023-04-07
申请号：CN202010699862.3
申请日：2020-07-20
摘要： 本发明公开了一种人体意图识别方法，所述方法包括：实时采集当前人体的特征信号；基于所述特征信号生成所述当前人体对应的多源数据特征以及眼睛选定的注视点坐标；识别所述多源数据特征以及眼睛选定的注视点坐标，生成所述多源数据特征对应的语音文本以及所述注视点坐标对应的场景图像描述文本；针对所述语音文本以及场景图像描述文本进行实体抽取，生成所述语音文本以及场景图像描述文本对应的实体片段；采用共指消解算法处理所述实体片段，生成目标对象；基于所述语音文本、场景图像描述文本以及目标对象，生成人体意图识别结果。因此，采用本申请实施例，通过针对特定场景的口眼协同交互信息处理后得到识别结果，从而提升了机器识别人体意图的准确率。
-
公开(公告)号：CN112084927B
公开(公告)日：2022-12-20
申请号：CN202010918333.8
申请日：2020-09-02
IPC分类号： G06V40/20 , G06V20/00 , G06V10/30 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/04 , G06N3/08
摘要： 本发明公开了一种融合多种视觉信息的唇语识别方法，包含如下步骤：利用头戴式摄像采集设备对唇语图像进行采集；对采集到的视频数据根据采集对象、采集批次进行分类存放；把每个视频样本逐帧分解，对图像去噪处理，处理后的图像再做裁剪，只保存特定大小的唇部图像；搭建自监督光流生成网络，把采集的数据输入生成网络中；把真实图像、光流数据和深度图像分别输入到搭建好的三流融合训练网络中进行识别任务训练，并输出最终的唇语识别结果。本发明所拍摄的数据更多关注在人脸的唇部区域，在使用神经网络训练之前也减少了对唇部区域进行识别裁剪的步骤，因此识别效率得到了很大提升。
-
公开(公告)号：CN110956949B
公开(公告)日：2022-10-04
申请号：CN201911018967.1
申请日：2019-10-24
摘要： 本申请公开了一种口含式缄默通信方法与系统，包括：采集口内第一信号和口内第二信号；根据所述口内第一信号确定振动特征信息，根据所述口内第二信号确定形态位置信息；使用语音预测模型，根据振动特征信息和形态位置信息，确定语音信息；使用语音信息合成语音。通过采集口内第一信号和口内第二信号，根据口内第一信号确定振动特征信息，根据所述口内第二信号确定形态位置信息，能够减少背景噪音干扰、保密性能高，且无创伤；使用语音预测模型，根据振动特征信息和形态位置信息，确定语音信息，使用语音信息合成语音，学习成本低、使用方便且舒适度高。
-
公开(公告)号：CN110444189B
公开(公告)日：2022-01-04
申请号：CN201910524912.1
申请日：2019-06-18
摘要： 本发明公开了一种缄默通信方法、系统和存储介质，用以满足一些特定场景下的信息沟通需求。缄默通信方法，包括：在第一用户说话过程中，分别采集第一IMU信号、第一EMG信号和第一语音信号；根据第一IMU信号确定关节肌肉的第一形态位置变化信息；根据第一EMG信号确定第一肌电变化信息；从第一语音信号中提取第一声学表示特征信息；基于第一形态位置变化信息、第一肌电变化信息和第一声学表示特征信息进行训练，得到语音预测模型；利用语音预测模型，在第二用户进行语音表达的过程中，识别第二用户表达的语音信息。
-
公开(公告)号：CN113361484A
公开(公告)日：2021-09-07
申请号：CN202110773615.8
申请日：2021-07-08
摘要： 本发明公开了一种针对EEG信号分类任务的深度学习网络架构搜索方法，包括如下步骤：根据具体的脑‑机接口任务，采集用户一定量的脑电信号，对采集脑电信号进行降采样，再进行带通滤波。利用处理好的脑电信号，进行深度学习网络架构的搜索；设置网络架构参数，在训练集上计算最优的模型内部可学习参数，固定模型结构不变，使用梯度下降法来获得内部可学习参数，输出最终的网络结构。本发明具有便于集成，且集成成本低的优点，经典基于深度学习的脑电接口系统开发需要事先人为设计出一个网络架构，而本方法可以改变人为设计的过程，利用深度学习网络完成自动设计，所以不需要对现有脑‑机接口系统开发流程作较大的修改，便于集成到现有系统中。
-
公开(公告)号：CN112099330A
公开(公告)日：2020-12-18
申请号：CN202010899876.X
申请日：2020-08-31
摘要： 本发明公开了一种结合外部相机和穿戴式显控设备的全息人体重建方法，其步骤为：将四个外部RGBD相机分别放置于要重建场景的四个角落；在无干扰的场景中，获取要重建的人的点云特征，进行非刚体特征提取；利用霍夫变换获得瞳孔位置及中心坐标，将左右眼图片以及瞳孔中心坐标输入神经网络中预测注视点坐标；将预先采集好的肌电信号与指令相对应的数据集，输入到长短时记忆网络中进行训练；将肌电信号输入到训练好的模型中，识别出与之相对应的指令并传递给计算机，进行细节部分拟合来得到最终的重建模型；最后用增强现实技术对最终的重建模型进行显示。本发明中只需要利用一组多视角点云图就可以完成相机的标定得出外参矩阵，省时省力。
-
公开(公告)号：CN111176447A
公开(公告)日：2020-05-19
申请号：CN201911360074.5
申请日：2019-12-25
摘要： 本发明提出了一种融合深度网络和几何模型的增强现实眼动交互方法，包括：采集大量人员双眼图像和注视点，对采集到的眼睛图像进行预处理；使用大数据训练深度卷积神经网络模型，获得从眼睛图像到注视点的映射关系；使用深度卷积神经网络模型预测的注视点结果作为几何模型的部分输入，结合当前人员少量真实数据求解几何模型参数，得到当前人员准确的映射关系。本发明相比于传统的基于几何模型的眼动跟踪方法简化了标定过程，增加了交互的鲁棒性；相比于传统的基于外观的方法提高了注视估计精度，更具普适性。
-
公开(公告)号：CN111026873A
公开(公告)日：2020-04-17
申请号：CN201911019748.5
申请日：2019-10-24
摘要： 本申请提出一种无人车及其导航方法、装置。该方法包：获取场景图像信息及用户的多模态信息；根据所述多模态信息和导航语义知识图谱，生成所述多模态信息对应的文本指令信息；根据所述场景图像信息和所述文本指令信息，确定导航进度及行动轨迹。在本申请实施例中，结合用户的语音、手势、眼动等多模态信息，遵循多模态信息反馈的深层语义信息，结合车载摄像头拍摄的场景图像信息，实现对无人车的人机协同交互的智能自动导航，使无人车导航更加精确与安全。无需GPS定位与建图，是一种无地图式的未知环境下的导航方法。不仅适用于通用环境下的无人车导航，在一些特殊场景下也能通用，如野外的搜索与救援以及室内导航等。
-
公开(公告)号：CN110443113A
公开(公告)日：2019-11-12
申请号：CN201910524902.8
申请日：2019-06-18
IPC分类号： G06K9/00
摘要： 本发明公开了一种虚拟现实书写方法、系统和存储介质，用以丰富文字识别的应用场景，提高文字识别的灵活性。所述虚拟现实书写方法，包括：在第一用户书写文字的过程中，分别采集第一肌电信号和第一手指运动信号；根据所述第一肌电信号和第一手指运动信息，利用文字识别模型确定所述用户书写的文字和/或压力信号，其中，所述文字识别模型为基于预先建立的关系样本库利用卷积神经网络进行训练得到的，所述关系样本库中至少包括第二肌电信号和第二手指运动信号与文字样本和/或压力信号之间的对应关系。
-
-
-
-
-
-
-
-
-
搜索结果
141 条记录 (耗时 0.097 秒)
