公开(公告)号：CN117392760A

公开(公告)日：2024-01-12

申请号：CN202311698698.4

申请日：2023-12-12

申请人： 河海大学 ,  南京荟英电子科技有限公司

发明人： 黄倩 ,  陈莹莹 ,  毛莺池 ,  李畅 ,  王彦芳 ,  巫义锐

IPC分类号： G06V40/20 ,  G06V20/40 ,  G06V10/44 ,  G06V10/62 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G16H20/30 ,  A61B5/11 ,  A61B5/00

摘要： 本发明公开一种基于折半交叉网络的健康指导方法和系统，包括如下步骤：构建物理层和数据处理层，通过摄像头采集动作视频并进行处理得到去噪深度图和时间梯度图；构建行为识别层：构建特征提取网络，通过特征提取得到深度特征图和时间梯度特征图；构建折半交叉注意力模型，计算得到特征向量；输入全连接层，并通过激活函数进行激活，通过分类器得到输出结果；构建控制层：根据输出结果建立行为与控制的匹配关系，确定每个动作对应的语音指令以及实现对用户的建议提示。采用本发明的健康指导方法，解决了数据维度过高和无关特征信息对模型性能产生影响的问题，增强了对人体行为时空特征的表述能力，提高了行为识别精度和颈椎康复指导系统的可靠性。

公开(公告)号：CN117392760B

公开(公告)日：2024-04-23

申请号：CN202311698698.4

申请日：2023-12-12

申请人： 河海大学 ,  南京荟英电子科技有限公司

发明人： 黄倩 ,  陈莹莹 ,  毛莺池 ,  李畅 ,  王彦芳 ,  巫义锐

IPC分类号： G06V40/20 ,  G06V20/40 ,  G06V10/44 ,  G06V10/62 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G16H20/30 ,  A61B5/11 ,  A61B5/00

摘要： 本发明公开一种基于折半交叉网络的健康指导方法和系统，包括如下步骤：构建物理层和数据处理层，通过摄像头采集动作视频并进行处理得到去噪深度图和时间梯度图；构建行为识别层：构建特征提取网络，通过特征提取得到深度特征图和时间梯度特征图；构建折半交叉注意力模型，计算得到特征向量；输入全连接层，并通过激活函数进行激活，通过分类器得到输出结果；构建控制层：根据输出结果建立行为与控制的匹配关系，确定每个动作对应的语音指令以及实现对用户的建议提示。采用本发明的健康指导方法，解决了数据维度过高和无关特征信息对模型性能产生影响的问题，增强了对人体行为时空特征的表述能力，提高了行为识别精度和颈椎康复指导系统的可靠性。