-
-
公开(公告)号:CN111190484B
公开(公告)日:2023-07-21
申请号:CN201911357500.X
申请日:2019-12-25
摘要: 本申请公开了一种多模态交互系统和方法,包括:信息采集模块,采集脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息;处理模块对接收到的脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息分别进行预处理得到多种数据,使用机器学习对多种数据进行命令、语言信息以及情绪的识别;对情绪识别结果进行可靠性评估,发送识别出的命令和/或语言信息至交互模块;交互模块发送命令至被操控设备,将语言信息发送至接收设备。通过根据多种信号对命令和/或语言信息以及情绪进行识别,能够得到精确度高的命令和/或语言信息,并且使用多种信号识别得到的命令和/或语言信息,通过交互模块发送至被操控设备或接收设备,具有更多样的功能。
-
公开(公告)号:CN111967334B
公开(公告)日:2023-04-07
申请号:CN202010699862.3
申请日:2020-07-20
摘要: 本发明公开了一种人体意图识别方法,所述方法包括:实时采集当前人体的特征信号;基于所述特征信号生成所述当前人体对应的多源数据特征以及眼睛选定的注视点坐标;识别所述多源数据特征以及眼睛选定的注视点坐标,生成所述多源数据特征对应的语音文本以及所述注视点坐标对应的场景图像描述文本;针对所述语音文本以及场景图像描述文本进行实体抽取,生成所述语音文本以及场景图像描述文本对应的实体片段;采用共指消解算法处理所述实体片段,生成目标对象;基于所述语音文本、场景图像描述文本以及目标对象,生成人体意图识别结果。因此,采用本申请实施例,通过针对特定场景的口眼协同交互信息处理后得到识别结果,从而提升了机器识别人体意图的准确率。
-
公开(公告)号:CN112084927B
公开(公告)日:2022-12-20
申请号:CN202010918333.8
申请日:2020-09-02
IPC分类号: G06V40/20 , G06V20/00 , G06V10/30 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/04 , G06N3/08
摘要: 本发明公开了一种融合多种视觉信息的唇语识别方法,包含如下步骤:利用头戴式摄像采集设备对唇语图像进行采集;对采集到的视频数据根据采集对象、采集批次进行分类存放;把每个视频样本逐帧分解,对图像去噪处理,处理后的图像再做裁剪,只保存特定大小的唇部图像;搭建自监督光流生成网络,把采集的数据输入生成网络中;把真实图像、光流数据和深度图像分别输入到搭建好的三流融合训练网络中进行识别任务训练,并输出最终的唇语识别结果。本发明所拍摄的数据更多关注在人脸的唇部区域,在使用神经网络训练之前也减少了对唇部区域进行识别裁剪的步骤,因此识别效率得到了很大提升。
-
公开(公告)号:CN110956949B
公开(公告)日:2022-10-04
申请号:CN201911018967.1
申请日:2019-10-24
摘要: 本申请公开了一种口含式缄默通信方法与系统,包括:采集口内第一信号和口内第二信号;根据所述口内第一信号确定振动特征信息,根据所述口内第二信号确定形态位置信息;使用语音预测模型,根据振动特征信息和形态位置信息,确定语音信息;使用语音信息合成语音。通过采集口内第一信号和口内第二信号,根据口内第一信号确定振动特征信息,根据所述口内第二信号确定形态位置信息,能够减少背景噪音干扰、保密性能高,且无创伤;使用语音预测模型,根据振动特征信息和形态位置信息,确定语音信息,使用语音信息合成语音,学习成本低、使用方便且舒适度高。
-
公开(公告)号:CN110444189B
公开(公告)日:2022-01-04
申请号:CN201910524912.1
申请日:2019-06-18
摘要: 本发明公开了一种缄默通信方法、系统和存储介质,用以满足一些特定场景下的信息沟通需求。缄默通信方法,包括:在第一用户说话过程中,分别采集第一IMU信号、第一EMG信号和第一语音信号;根据第一IMU信号确定关节肌肉的第一形态位置变化信息;根据第一EMG信号确定第一肌电变化信息;从第一语音信号中提取第一声学表示特征信息;基于第一形态位置变化信息、第一肌电变化信息和第一声学表示特征信息进行训练,得到语音预测模型;利用语音预测模型,在第二用户进行语音表达的过程中,识别第二用户表达的语音信息。
-
公开(公告)号:CN113361484A
公开(公告)日:2021-09-07
申请号:CN202110773615.8
申请日:2021-07-08
摘要: 本发明公开了一种针对EEG信号分类任务的深度学习网络架构搜索方法,包括如下步骤:根据具体的脑‑机接口任务,采集用户一定量的脑电信号,对采集脑电信号进行降采样,再进行带通滤波。利用处理好的脑电信号,进行深度学习网络架构的搜索;设置网络架构参数,在训练集上计算最优的模型内部可学习参数,固定模型结构不变,使用梯度下降法来获得内部可学习参数,输出最终的网络结构。本发明具有便于集成,且集成成本低的优点,经典基于深度学习的脑电接口系统开发需要事先人为设计出一个网络架构,而本方法可以改变人为设计的过程,利用深度学习网络完成自动设计,所以不需要对现有脑‑机接口系统开发流程作较大的修改,便于集成到现有系统中。
-
公开(公告)号:CN112929838A
公开(公告)日:2021-06-08
申请号:CN202110111270.X
申请日:2021-01-27
摘要: 本发明公开了一种通信与高精度三维定位一体化模块的测试方法和装置。本发明装置包括一体化模块、终端路由、后台显示终端、测试辅助设备,该装置搭建测试环境,通过设置通一体化模块的本地IP地址、主从属性、传输模式、工作频段等属性,实现对其相对测距精度、室内相对定位精度、室内外三维定位无缝切换能力、室内外绝对定位精度和协同定位能力、网络自适应能力、最大通信速率、传输距离、全网端到端通信能力以及单跳时延的性能测试。该方法适用于室内和室外两种定位情景,能够有效的观测室内外两种环境无缝切换时的定位和通信情况;并将通信测试与定位测试相结合,实现了两个领域的同时测试,有效的降低了测试成本,提升了测试效率与灵活性。
-
公开(公告)号:CN111294128B
公开(公告)日:2021-04-30
申请号:CN201911387042.4
申请日:2019-12-30
IPC分类号: H04B17/382 , H04B17/391 , H04W74/08
摘要: 本发明公开了一种基于马尔可夫信道模型的机会频谱接入方法。该方法步骤为:建立马尔可夫信道模型;对马尔可夫信道模型进行初始化;确定要感知的信道集合;采用基于随机长度时隙块的信道感知方式,进行多个时隙的连续感知;次用户选择具有静态信道空闲概率最大的M个主信道,计算所选主信道接入条件的收益值,选择收益值最大的信道进行接入。本发明提高了频谱传感精度、操作的可靠性和频谱资源的使用效率。
-
公开(公告)号:CN112616126A
公开(公告)日:2021-04-06
申请号:CN202011436229.1
申请日:2020-12-10
IPC分类号: H04W4/38 , H04W4/44 , H04W24/02 , H04N7/18 , H04L12/24 , G06K9/00 , G06K9/34 , G06K9/46 , G06K9/62
摘要: 本发明公开了一种基于分布式协作的传感器信息处理方法。该方法为:无人机集群各平台初始化,根据通信的总带宽和不同传感器数据处理占用的带宽,选择集群内各无人机的传感器数据处理方式;集群内的每个无人机均通过状态感知,维护本机的全网各无人机平台状态信息表,计算并排序本机处理的权重,确定不同无人机的数据处理方式;无人机集群中的各无人机将传感器数据处理后发送到边缘节点进行数据融合后,反向传输到集群内各无人机进行共享决策,同时将融合后的数据传输到地面指挥控制中心。本发明的鲁棒性和抗毁性好,信息传输效率高,传感器数据处理方式动态可调,优化了通信带宽和本地平台的计算能力使用效率,同时提高了协同侦查的效率。
-
-
-
-
-
-
-
-
-