一种基于多模态特征融合网络的说话人识别方法和装置

    公开(公告)号:CN115810209A

    公开(公告)日:2023-03-17

    申请号:CN202211491204.0

    申请日:2022-11-25

    Abstract: 一种基于多模态特征融合的说话人识别方法,包括:获取包含图像序列等多模态序列信息;获取人脸图像序列信息;获取人脸图像序列对应的其他模态信息序列;建立多模态特征融合网络,将所述人脸多模态序列信息作为训练集,训练所述多模态特征融合网络;将待识别人脸多模态序列信息输入所述多模态特征融合网络,得到当前人说话状态。本发明还包括一种基于多模态特征融合的说话人识别装置。本发明能够融合不同模态的特征,丰富所提取特征的信息量,提升说话人识别准确度。

    一种免锚框的实例人像语义解析方法

    公开(公告)号:CN115331254A

    公开(公告)日:2022-11-11

    申请号:CN202210203916.1

    申请日:2022-03-03

    Abstract: 本发明公开了一种免锚框的实例人像语义解析方法。本发明利用训练集训练实例人像语义解析模型,所述实例人像语义解析模型包括特征提取模块、人物实例检测分支和人物实例细粒度感知分支;所述人物实例细粒度感知分支包括细节保持模块、人体部件上下文编码模块、人物实例解析模块和实例解析结果精炼模块;本发明采用了一个一阶段的基于中心点预测的免锚框检测器用于人物实例边界框位置预测和一个边缘引导的人物实例语义解析模块用于人像语义部件的识别,免锚框的人物检测器不仅继承了像素级设计的优势,且能够有效避免因产生候选边界框引起的超参数敏感性问题;边缘引导的人像语义解析模块能够有效区分不同的人物实例位置和相邻的人像语义类别。

    一种基于目标动态表观对齐的视觉跟踪方法

    公开(公告)号:CN115239757A

    公开(公告)日:2022-10-25

    申请号:CN202210215901.7

    申请日:2022-03-07

    Abstract: 本发明公开了一种基于目标动态表观对齐的视觉跟踪方法。本方法利用目标表观对齐模块估计模板图像和待处理图像之间的形态对齐参数,将目标对齐分解为特征对齐雅可比参数估计、形态残差估计、反向迭代组合三个子模块,并分别设计了可训练的前向传播网络执行对应操作;目标模板匹配模块利用深度神经网络提取出模板图像和待处理图像中被跟踪物体的语义特征,然后利用目标表观对齐模块迭代预测得到的对齐参数对待处理图像特征做适当调整,使模板图像和待处理图像的目标形态尽可能保持一致;最后利用相关卷积操作计算模板图像特征和调整后的待处理图像特征的相似性,输出对目标位置敏感的相似性匹配热图,热图中响应最高的位置即目标状态位置。

    一种基于视觉感知的运动物体机器人抓取方法及装置

    公开(公告)号:CN114083545B

    公开(公告)日:2022-07-01

    申请号:CN202210076251.2

    申请日:2022-01-24

    Abstract: 本发明公开了一种基于视觉感知的运动物体机器人抓取方法及装置,该方法包括:获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数;根据第一和第二能量函数,计算物体中心坐标系下的综合能量函数;对综合能量函数进行最小化,得到位姿变换增量;根据位姿变换增量,更新在每个相机视角下的物体位姿;将若干次更新后的物体位姿输入物体运动预测模型中,预测未来预定时间内物体的第一位姿;将第一位姿与抓取位姿数据库中的所有第二位姿进行比较,将与第二位姿差值最小且差值小于预定阈值的第一位姿作为抓取位姿对应的机械臂末端位姿;根据机械臂末端位姿,控制机械臂运动后控制末端执行器进行物体抓取。

    一种非合作抛体的轨迹预测与捕获方法和装置

    公开(公告)号:CN114549592A

    公开(公告)日:2022-05-27

    申请号:CN202210433994.0

    申请日:2022-04-24

    Abstract: 本发明公开了一种非合作抛体的轨迹预测与捕获方法和装置,其创新性地高效应用了高帧率RGB相机以及RGBD深度相机的感知信息,实现抛体在空间的快速精确定位。基于定位信息,本发明又提出了基于卡尔曼滤波的抛体轨迹粗拟合以及基于物理学建模的轨迹精拟合实现方案,通过融合轨迹粗拟合与精拟合信息,本发明方法可根据实际场景和任务特点,低成本,高精度,高稳定性的实现空间抛体的轨迹预测与捕获。

    基于虚拟链路的边缘容错路由方法和装置

    公开(公告)号:CN113938423B

    公开(公告)日:2022-04-08

    申请号:CN202111541643.3

    申请日:2021-12-16

    Abstract: 本发明公开了一种基于虚拟链路的边缘容错路由方法和装置,该方法利用贪心转发策略,构建一个全部边缘节点构成的结构化虚拟链路网络,由物理链路和虚拟链路链接,每个边缘节点存储着构建该网络的路由表;当源节点需要向目标节点转发数据包时,源节点在数据包上添加目标节点的标识符,根据路由表中的路由表项,贪心地选择在标识符空间内距离目标节点最近的节点作为下一跳目标,并通过构建的网络转发数据包,直至到达目标节点;面临节点宕机或链路断路时,通过回溯策略和贪心转发策略旁路绕过。本发明具有路由延伸性好,容错性高的特点,能够适应大规模的边缘节点,保证了边缘节点在可靠性差、且常发生节点扰动的情况下,仍能完成路由任务。

    一种基于物体3D位姿视觉跟踪的增强现实方法及装置

    公开(公告)号:CN114092526A

    公开(公告)日:2022-02-25

    申请号:CN202210073191.9

    申请日:2022-01-21

    Abstract: 本发明公开了一种基于物体3D位姿视觉跟踪的增强现实方法及装置,该方法包括:获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数,并计算目标物体当前帧和上一帧在物体中心坐标系下的位姿变换增量;根据位姿变换增量,更新目标物体在第一相机视角下的位姿,得到第一位姿;将位姿变换增量发送至第二处理单元,以使得第二处理单元根据位姿变换增量,更新目标物体在第二相机视角下的位姿,得到第二位姿;将第一位姿发送至显示设备,以使得显示设备获取自身在世界坐标系下的第三位姿并根据第一位姿、第三位姿和第四位姿计算目标物体当前帧在显示设备坐标系下的第五位姿,其中第四位姿为第一相机在世界坐标系下的位姿。

    基于虚拟链路的边缘容错路由方法和装置

    公开(公告)号:CN113938423A

    公开(公告)日:2022-01-14

    申请号:CN202111541643.3

    申请日:2021-12-16

    Abstract: 本发明公开了一种基于虚拟链路的边缘容错路由方法和装置,该方法利用贪心转发策略,构建一个全部边缘节点构成的结构化虚拟链路网络,由物理链路和虚拟链路链接,每个边缘节点存储着构建该网络的路由表;当源节点需要向目标节点转发数据包时,源节点在数据包上添加目标节点的标识符,根据路由表中的路由表项,贪心地选择在标识符空间内距离目标节点最近的节点作为下一跳目标,并通过构建的网络转发数据包,直至到达目标节点;面临节点宕机或链路断路时,通过回溯策略和贪心转发策略旁路绕过。本发明具有路由延伸性好,容错性高的特点,能够适应大规模的边缘节点,保证了边缘节点在可靠性差、且常发生节点扰动的情况下,仍能完成路由任务。

    双足机器人在前进方向受到外部推力扰动时的步态规划与控制方法

    公开(公告)号:CN111230868B

    公开(公告)日:2022-01-04

    申请号:CN202010063092.3

    申请日:2020-01-19

    Abstract: 本发明提供一种双足机器人在前进方向受到外部推力扰动时的步态规划与控制方法。当机器人含有欠驱动脚踝,或脚踝处于力控模式时,机器人受到的外部扰动可通过踝关节自由度(或其它与之相关的变量)的状态变化体现出来。基于该思路,本发明所提供的步态规划与控制方法对机器人的踝关节采用力控模式,然后选取支撑腿脚踝、支撑腿髋关节间的连线与竖直方向的夹角θ作为机器人的状态变量对机器人的状态进行表征,并基于简化倒立摆模型对机器人的状态进行实时估计和计算。基于本发明所提供的方法,无需对机器人受到的外部推力信息进行测量,即可实现实时反馈和控制。

    基于时空并行栅格神经网络的地铁人流量多步预测方法

    公开(公告)号:CN113408806A

    公开(公告)日:2021-09-17

    申请号:CN202110710281.X

    申请日:2021-06-25

    Abstract: 本发明公开了一种基于时空并行栅格神经网络的地铁人流量多步预测方法,首先提出栅格神经网络来学习地铁人流量的时间关系,捕捉地铁人流量短期时间相关性;然后提出基于周期栅格神经网络的编码器‑解码器捕捉地铁人流量的长期时间相关性;再通过基于转移流量的指标来度量地铁站间的空间相关性,并将地铁系统建模成加权有向图;将传播图神经网络与基于栅格神经网络的编码器‑解码器组合,学习地铁人流量的动态空间相关性;并行执行长短期时间相关性和动态空间相关性的学习过程,融合两者的结果得到最终的地铁人流量多步预测结果。本发明采用时空并行学习的框架,有效地学习到地铁人流量的长短期时间相关性和动态空间相关性,并应用于多步预测。

Patent Agency Ranking