基于深度神经网络和注意力机制的手势识别方法

    公开(公告)号:CN113378641B

    公开(公告)日:2024-04-09

    申请号:CN202110518115.X

    申请日:2021-05-12

    Inventor: 何坚 刘炎

    Abstract: 基于深度神经网络和注意力机制的手势识别方法属于电子信息领域。首先,本发明设计在双流算法中引入ECA有效通道注意力增强双流算法对手势关键帧的关注度,并利用双流算法中的空间卷积网络和时间卷积网络分别提取动态手势中的空间和时序特征;其次,通过ECA在空间流中选取最高关注度的手势帧,利用单发多框检测器技术提取相应手部姿态特征;最后,将手部姿态特征与双流中提取的人体姿态特征、手势时序特征融合后分类识别手势。本方法在Chalearn2013多模态手势数据集上进行了验证,准确率为66.23%,相比之前在该数据集上仅使用RGB信息进行双流识别的方法获得了更好的手势识别效果。

    一种基于微流控的空间触觉交互方法

    公开(公告)号:CN116713045A

    公开(公告)日:2023-09-08

    申请号:CN202310551132.2

    申请日:2023-05-16

    Inventor: 何坚 任晓菲

    Abstract: 本发明提出一种基于微流控的空间触觉交互方法,该方法通过控制微流通道中微流输出的流速和大小,向用户指尖传递空间方向线索反馈和虚拟按钮反馈。所述微流体装置包含微流通道和触觉显示区域。所述微流通道位于微流体装置的内部,其主要负责规定微流在通道中的流动路径。所述微流通道具有微流流入口和微流流出口;所述微流流入口位于微流装置的边缘位置,微流流出口位于微流装置的顶部。所述微流流出口的多孔分布构成触觉显示区域,微流可经过微流流入口流向微流流出口的触觉显示区域。所述触觉显示区域包含多种微流输出模式,触觉显示区域与微流通道相互连通,微流可从触觉显示区域流出与皮肤直接接触。

    基于移动可穿戴计算的智慧盲杖

    公开(公告)号:CN112891162B

    公开(公告)日:2022-11-22

    申请号:CN202110058304.3

    申请日:2021-01-14

    Abstract: 基于移动可穿戴计算的智慧盲杖属于电子信息领域,是一种基于可穿戴计算技术的盲人辅助装置。装置自身具有照明、发声发光呼救功能并可通过按钮控制已连接的移动智能设备上功能的启用或关闭。移动智能设备上的功能有:使用阈值分割、RANSAC和区域生长算法实现障碍物检测功能;语音播报当前时间、位置信息功能;红绿灯检测功能。本发明采用新型的结构设计,具有单指操作的特性;自动连接移动智能设备,并与其高效通信;配套的APP上具有语音信息播报、障碍物检测、红绿灯检测功能;采用振动的方式向盲人迅速反馈,增强其的使用体验。

    基于图注意力机制的医学知识图谱关系预测方法

    公开(公告)号:CN114610897A

    公开(公告)日:2022-06-10

    申请号:CN202210181938.2

    申请日:2022-02-25

    Abstract: 基于图注意力机制的医学知识图谱关系预测方法属于电子信息领域。本发明涉及如下3点:(1)将不同权重(注意力)分配给附近的节点,并通过迭代和分层计算传播注意力。(2)并在多跳邻居之间引入辅助边,实现了实体之间知识流的有效传播,构建了基于图注意力的嵌入模型。(3)应用ConvKB作为解码器有效捕获实体及其邻域间存在的关联关系。本发明针对医疗知识图谱中关系预测任务,通过扩展图注意力机制,构建了基于图注意力的嵌入模型,捕获给定实体的多跳邻域间实体和关系特征,进而完善医疗知识图谱中实体间关联关系。

    基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法

    公开(公告)号:CN112674998B

    公开(公告)日:2022-04-22

    申请号:CN202011531293.8

    申请日:2020-12-23

    Abstract: 基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法属于电子信息领域。该方法参照其他快速深度神经网络设计了适用于移动智能设备的神经网络Q‑DNN,通过在网络中引入优秀的网络结构,加强了Q‑DNN网络的特征提取能力,减少了冗余的网络参数。该网络实现了交通路口重要目标的准确识别以及在移动智能设备上实时运行的要求。其次结合GPS和检测结果,指引盲人前往斑马线正确位置。通过检测斑马线方向,有效辅助盲人调整行走方向,顺利通过斑马线。根据红绿灯检测结果提出基于HSI空间的红绿灯信号分类方法,解决红绿灯信号识别问题。最后本发明将以上方法结合,设计了基于移动智能设备的交通路口盲人辅助流程,有效地辅助盲人在交通路口安全顺利通行。

    基于深度神经网络和注意力机制的手势识别方法

    公开(公告)号:CN113378641A

    公开(公告)日:2021-09-10

    申请号:CN202110518115.X

    申请日:2021-05-12

    Inventor: 何坚 刘炎

    Abstract: 基于深度神经网络和注意力机制的手势识别方法属于电子信息领域。首先,本发明设计在双流算法中引入ECA有效通道注意力增强双流算法对手势关键帧的关注度,并利用双流算法中的空间卷积网络和时间卷积网络分别提取动态手势中的空间和时序特征;其次,通过ECA在空间流中选取最高关注度的手势帧,利用单发多框检测器技术提取相应手部姿态特征;最后,将手部姿态特征与双流中提取的人体姿态特征、手势时序特征融合后分类识别手势。本方法在Chalearn2013多模态手势数据集上进行了验证,准确率为66.23%,相比之前在该数据集上仅使用RGB信息进行双流识别的方法获得了更好的手势识别效果。

    肢体骨架和头手部件轮廓融合的手势识别方法

    公开(公告)号:CN112183198A

    公开(公告)日:2021-01-05

    申请号:CN202010851927.1

    申请日:2020-08-21

    Abstract: 肢体骨架和头手部件轮廓融合的手势识别方法属于计算机视觉领域。本发明提出了使用人体骨架姿态特征结合手势部件轮廓特征描述人体手势。本发明使用轮廓检测网络识别出的手势部件类别表征人体局部信息,使得人体模型结构更加完整。本发明剪裁CPM网络构造人体骨架关键节点识别网络KEN,使其具有足够的实时性,在实际测试中可以达到每秒15帧的识别速度,同时具有较高的识别精度,本发明设计并实现了人体动态手势识别机GRSCTFF,使其可以在多种复杂场景下较为准确的识别人体动态手势的类别,解决了基于计算机视觉的人体手势识别方法易受光照、背景和手势动态变化影响等问题;具有参数量较少,运算速度快,识别精度高的特点。

    一种基于智能手机多传感器融合的人体活动识别方法

    公开(公告)号:CN110532898A

    公开(公告)日:2019-12-03

    申请号:CN201910732567.0

    申请日:2019-08-09

    Abstract: 一种基于智能手机多传感器融合的人体活动识别方法属于智能人机交互领域,本发明利用智能手机集成的惯性传感器、磁力计和气压计等多模态传感器,提出了融合智能手机多模态传感器的人体活动识别方法。本发明的主要内容为:(1)建立基于笛卡尔坐标系的人体活动模型以及多传感器融合的人体活动识别框架;(2)人体进行日常活动,实验者通过携带智能手机采集多传感器数据;(3)通过数据预处理对原始传感器数据进行去躁、特征提取和选择;(4)设计基于Stacking的多模态数据融合集成RSK-Stacking算法对最优的人体活动数据集进行训练得到人体活动识别模型,进而对人体活动进行识别。

    一种基于中断驱动的低功耗跌倒检测装置

    公开(公告)号:CN106960542A

    公开(公告)日:2017-07-18

    申请号:CN201710360574.3

    申请日:2017-05-21

    Abstract: 本发明公开一种基于中断驱动的低功耗跌倒检测装置包括:用于采集检测对象活动的3轴加速度、角速度数据MPU6050传感器、以及CC2530 MCU;其中,采用有限状态机对跌倒过程建模。本发明基于中断驱动,能实时采集并预处理3轴加速度和角速度数据,依据预设3轴加速度、角速度的阈值并应用决策树判断监测对象跌倒并报警。

    基于卡尔曼滤波与KNN算法的跌倒检测报警系统及方法

    公开(公告)号:CN105741491A

    公开(公告)日:2016-07-06

    申请号:CN201610152570.1

    申请日:2016-03-17

    CPC classification number: G08B21/043

    Abstract: 本发明公开了基于卡尔曼滤波与KNN算法的跌倒检测报警系统及方法,包括:采集模块、处理模块、传输模块、识别模块、判断模块和通知模块;采集模块用于采集人体活动中上躯干部位的三维加速度和三维角速度数据;处理模块通过三维加速度和三维角速度数据计算合加速度与合角速度;识别模块基于卡尔曼滤波与KNN算法对人体活动状态进行分类识别,识别出人体的运动类型;判断模块判断是否为“跌倒”类型,当判断结果为“跌倒”类型时,通知模块通过设置的报警方式通知设定的联系人。本发明通过基于卡尔曼滤波与KNN算法对人体活动状态进行识别,检测准确率高、误报率低;具备通信功能,能够实时通知跌倒老人的亲属,确定跌倒位置。

Patent Agency Ranking