基于关系建模的人体姿态估计方法

    公开(公告)号:CN113807321A

    公开(公告)日:2021-12-17

    申请号:CN202111212014.6

    申请日:2021-10-18

    Abstract: 本发明公开了基于关系建模的人体姿态估计方法,包括以下步骤:步骤一:给定一段包含N帧的视频,即RPSTN采用连续的T帧作为输入,给定由P生成的初始姿态,本发明相比于已有方法,本文提出的RPSTN对遮挡问题具有一定的鲁棒性,一方面JRE模块可以通过学习到的姿态结构信息,即关节点之间的关系,在空间上推理被遮挡关节点的位置,另一方面,JRPSP模块可以将未遮挡帧中的姿态信息传递到被遮挡帧中以帮助定位姿态,且避免了在生成关节点热图的过程中,已有方法都是单个关节点逐点定位,而忽略了关节点之间的联系,人体是一个有机的整体,在运动过程中各个关节点是相互关联的,已有方法逐点定位的方式会破坏人体的结构信息的问题。

    一种基于图关系交互学习的人体动作预测方法及装置

    公开(公告)号:CN116935492A

    公开(公告)日:2023-10-24

    申请号:CN202310987468.3

    申请日:2023-08-07

    Abstract: 本发明提出一种基于图关系交互学习的人体动作预测方法,包括,获取训练数据集,所述训练数据集包括人体动作序列;构建图关系交互学习网络,其中,图关系交互学习网络采用双支路对称残差图卷积网络GCN结构,双支路GCN之间的连接类型包括数据流和参数流;通过训练数据集对图关系交互学习模型进行训练,其中,训练采用平均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数;获取待预测数据,将待预测数据输入训练完成的图关系交互学习网络,获取人体动作预测结果。本发明实现了更精确的人体动作预测。

    基于模态引导的多图人体姿态生成方法及装置

    公开(公告)号:CN115294228B

    公开(公告)日:2023-07-11

    申请号:CN202210911159.3

    申请日:2022-07-29

    Abstract: 本发明提出一种基于模态引导的多图人体姿态生成方法及装置,其中方法包括,获取训练数据集,训练数据集包括人体动作序列;将训练数据集输入模态引导多图模型,其中模态引导多图网络包括时序特征增强子网络和特征提取子网络;通过时序特征增强子网络对人体动作序列进行裁剪,对后T帧的特征占比进行增强,获取特征增强数据集;同时通过复制最后一帧,提高输入序列中最后一帧的贡献度;根据动作幅度将特征增强数据集分为多个模态子集;通过特征提取子网络对多个模态子集分别进行建模提取特征,再根据动作幅度的划分方式还原至人体全局姿态序列。本发明实现了由模态引导的对动静态不同关节点的多图建模。

    基于模态引导的多图人体姿态生成方法及装置

    公开(公告)号:CN115294228A

    公开(公告)日:2022-11-04

    申请号:CN202210911159.3

    申请日:2022-07-29

    Abstract: 本发明提出一种基于模态引导的多图人体姿态生成方法及装置,其中方法包括,获取训练数据集,训练数据集包括人体动作序列;将训练数据集输入模态引导多图模型,其中模态引导多图网络包括时序特征增强子网络和特征提取子网络;通过时序特征增强子网络对人体动作序列进行裁剪,对后T帧的特征占比进行增强,获取特征增强数据集;同时通过复制最后一帧,提高输入序列中最后一帧的贡献度;根据动作幅度将特征增强数据集分为多个模态子集;通过特征提取子网络对多个模态子集分别进行建模提取特征,再根据动作幅度的划分方式还原至人体全局姿态序列。本发明实现了由模态引导的对动静态不同关节点的多图建模。

    一种基于图关系交互学习的人体动作预测方法及装置

    公开(公告)号:CN116935492B

    公开(公告)日:2025-03-25

    申请号:CN202310987468.3

    申请日:2023-08-07

    Abstract: 本发明提出一种基于图关系交互学习的人体动作预测方法,包括,获取训练数据集,所述训练数据集包括人体动作序列;构建图关系交互学习网络,其中,图关系交互学习网络采用双支路对称残差图卷积网络GCN结构,双支路GCN之间的连接类型包括数据流和参数流;通过训练数据集对图关系交互学习模型进行训练,其中,训练采用平均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数;获取待预测数据,将待预测数据输入训练完成的图关系交互学习网络,获取人体动作预测结果。本发明实现了更精确的人体动作预测。

    一种基于Mamba的实时2D关键点检测方法及装置

    公开(公告)号:CN119942638A

    公开(公告)日:2025-05-06

    申请号:CN202411949509.0

    申请日:2024-12-27

    Abstract: 本申请提出一种基于Mamba的实时2D关键点检测方法及装置,涉及二维关键点检测领域,其中,方法包括:通过基于卷积神经网络的Stem网络接收输入图像,并提取初始姿态特征,获得初步特征;利用基于逐块递归特征提取模型的编码器处理所述初始特征,输出多级姿态特征,其中,所述编码器包括多个阶段,每个阶段都由上下文建模模块、二维选择性扫描模块和归一化层组成;使用解码器将所述编码器输出的多级姿态特征上采样为关键点热图,每个关键点的热图表示目标实例的关键点位置。本申请通过基于Mamba的轻量化网络结构设计,解决了传统方法中难以兼顾关键点检测实时性与高精度的技术问题,显著提升了关键点检测的实时性能和检测精度。

    一种端到端的局部视频行为语义预测方法

    公开(公告)号:CN116259074A

    公开(公告)日:2023-06-13

    申请号:CN202310079023.5

    申请日:2023-01-17

    Abstract: 本发明提出一种端到端的局部视频行为语义预测方法,包括,获取包含人体运动的视频;对视频中的片段采样x帧原始帧,对x帧原始帧的RGB差分信息进行下采样,通过2D卷积网络对下采样得到的RGB差分特征进行特征提取,获得局部运动特征,对局部运动特征进行上采样,获得最终的局部运动特征;将原始帧通过2D卷积网络得到局部空间特征,将最终的局部运动特征与局部空间特征融合得到融合特征;将融合特征与局部运动特征融合得到片段的时空特征;根据视频中所有片段的时空特征,得到历史全局尺度,根据历史全局尺度对视频进行动作类别预测。通过本发明提出的方法,实现了以端到端的方式预测局部视频中的人体行为语义。

    一种具有预警功能的分布式视频监控装置

    公开(公告)号:CN102355575A

    公开(公告)日:2012-02-15

    申请号:CN201110315899.2

    申请日:2011-10-18

    Abstract: 本发明涉及视频监控领域,具体涉及一种视频监控装置,更具体的说涉及一种可组网构成分布式视频监控系统的视频监控装置和检测预警方法。针对现有视频监控技术存在的缺陷,本发明提供一种基于数字信号处理器(Digital Signal Processor,DSP)与现场可编程门阵列(Field Programmable Gate Array,FPGA)架构的嵌入式视频监控装置,所述装置可用于构建新型分布式视频监控系统,提高视频监控系统的可靠性,实现系统危险和功能的分散。本发明还提供基于数字信号处理器的多种报警检测模式及其实时信号处理方法,从而实现无人值守、实时智能监控。

Patent Agency Ranking