基于查询的人体行为感知方法、装置及程序产品

    公开(公告)号:CN117994852B

    公开(公告)日:2024-11-12

    申请号:CN202410229510.X

    申请日:2024-02-29

    摘要: 本发明提供一种基于查询的人体行为感知方法、装置及程序产品,所述方法包括:获取预先训练的人体行为感知模型,人体行为感知模型包括视频编码器和动作解码器;视频编码器用于提取视频数据对应的视觉特征;动作解码器用于将视觉特征作为查询键值对,与至少一个预设查询进行关联,优化至少一个预设查询并输出查询任务对应的结果;将视频数据输入所述人体行为感知模型,得到人体行为感知结果。本发明能够实现跨任务联合优化,完成人体行为感知领域的多个任务,提高通用性和可拓展性。

    视频动作分割与评估方法

    公开(公告)号:CN118262264B

    公开(公告)日:2024-09-17

    申请号:CN202410128441.3

    申请日:2024-01-30

    摘要: 本申请提供一种视频动作分割与评估方法,所述方法包括:采用骨架网络对包含多个动作的目标视频进行特征提取,得到视频特征;将所述视频特征输入用于提取时间置信度特征的第一卷积网络以得到时间置信度图;将所述视频特征输入用于提取边界置信度特征的第二卷积网络以得到边界置信度图;基于所述时间置信度图和边界置信度图对所述目标视频进行分割,得到多个子动作视频特征;基于全连接层和softmax层得到各个所述子动作视频特征各自对应的特征得分集;基于高斯函数和各个所述特征得分集确定各个所述子动作视频特征的动作评估得分。本申请能够有效提高视频动作分割的普适性、准确性差以及提升分割效率。

    基于实例解耦和多特征点融合的多人解析方法及装置

    公开(公告)号:CN118314601A

    公开(公告)日:2024-07-09

    申请号:CN202410416836.3

    申请日:2024-04-08

    摘要: 本发明提供一种基于实例解耦和多特征点融合的多人解析方法及装置,所述方法包括:获取待测图像,将所述待测图像输入至训练好的特征金字塔网络中得到多个特征图,将获取到的多个所述特征图进行连接得到特征总图;将所述特征总图输入至训练好的多特征融合模型,基于所述多特征融合模型对实例中心进行特征提取得到中心特征,对各实例的各部位中心与对应实例的实例中心之间的偏移进行特征提取得到偏移特征,以及将所述中心特征和所述偏移特征进行特征融合得到各实例特征;将所述特征总图和所述实例特征输入至训练好的全局解耦模型,基于所述全局解耦模型得到实例感知图,基于所述实例感知图得到各实例的热图。本发明能够提高多人解析结果的准确性。

    基于查询的人体行为感知方法、装置及程序产品

    公开(公告)号:CN117994852A

    公开(公告)日:2024-05-07

    申请号:CN202410229510.X

    申请日:2024-02-29

    摘要: 本发明提供一种基于查询的人体行为感知方法、装置及程序产品,所述方法包括:获取预先训练的人体行为感知模型,人体行为感知模型包括视频编码器和动作解码器;视频编码器用于提取视频数据对应的视觉特征;动作解码器用于将视觉特征作为查询键值对,与至少一个预设查询进行关联,优化至少一个预设查询并输出查询任务对应的结果;将视频数据输入所述人体行为感知模型,得到人体行为感知结果。本发明能够实现跨任务联合优化,完成人体行为感知领域的多个任务,提高通用性和可拓展性。

    一种基于多模态融合的人体动作识别方法及装置

    公开(公告)号:CN116758628A

    公开(公告)日:2023-09-15

    申请号:CN202310615495.8

    申请日:2023-05-29

    摘要: 本发明提供一种基于多模态融合的人体动作识别方法及装置,所述方法的步骤包括:在加速度数据中截取加速度数据段,并在通过深度相机采集到的关节点数据帧中截取对应时间段的关节点数据帧;将截取的加速度数据段构建为加速度参数矩阵,将所述加速度参数矩阵输入到预训练的第一模型中,所述第一模型输出第一特征向量;生成对应所述关节点数据帧中每个关节点的关节点热力图张量,采用时间聚合策略将每个关节点热力图张量处理为聚合张量;将全部聚合张量输入到预训练的第二模型中,所述第二模型输出第二特征向量;基于所述第一特征向量和第二特征向量,采用分类算法融合所述第一特征向量和第二特征向量,计算动作分类结果。

    人体姿态估计分组模型训练方法、姿态估计方法及装置

    公开(公告)号:CN113343762B

    公开(公告)日:2022-03-29

    申请号:CN202110497324.0

    申请日:2021-05-07

    摘要: 本发明提供一种人体姿态估计分组模型训练方法、姿态估计方法及装置,基于多路径结构分别以不同扩张速率进行空洞卷积,并同时进行变形卷积,能够更好地适应多人姿态识别场景下不同尺寸和形状人体对象的特征提取需求。基于长程偏移量图和局部中心偏移量图计算各候选关节点到各真实人体对象中心点的精细偏移量,在非极大值抑制操作的基础上,将精细偏移量相差倍数在设定数值以内的候选关节点划分至同一人体对象分组,能够在多人姿态识别场景中保证各关节点分组正确率的前提下,降低计算复杂度,极大节约算力,提高识别效率。

    视频中人体动作切分方法及装置

    公开(公告)号:CN112464847B

    公开(公告)日:2021-08-31

    申请号:CN202011415844.4

    申请日:2020-12-07

    IPC分类号: G06K9/00

    摘要: 本发明提供一种视频中人体动作切分方法及装置,所述方法使用人体姿态估计算法提取人体骨骼关键点信息以反映人体结构特征,通过滑窗提取多个候选序列,并利用人体骨骼关键点信息基于动态时间规划算法分析各候选序列与标准序列的相似性,最终得到与标准序列最接近的候选序列,并完成对视频的切分。基于人体结构特征进行分析,能够极大提高视频切分的准确度,并简化运算复杂度。通过滑窗提取候选序列并使用动态时间规划算法进行分析,保留了完整的帧间关系信息,提高了切分准确度。

    视频中人体动作切分方法及装置

    公开(公告)号:CN112464847A

    公开(公告)日:2021-03-09

    申请号:CN202011415844.4

    申请日:2020-12-07

    IPC分类号: G06K9/00

    摘要: 本发明提供一种视频中人体动作切分方法及装置,所述方法使用人体姿态估计算法提取人体骨骼关键点信息以反映人体结构特征,通过滑窗提取多个候选序列,并利用人体骨骼关键点信息基于动态时间规划算法分析各候选序列与标准序列的相似性,最终得到与标准序列最接近的候选序列,并完成对视频的切分。基于人体结构特征进行分析,能够极大提高视频切分的准确度,并简化运算复杂度。通过滑窗提取候选序列并使用动态时间规划算法进行分析,保留了完整的帧间关系信息,提高了切分准确度。

    一种异常流量数据的检测方法及系统

    公开(公告)号:CN108737406B

    公开(公告)日:2020-08-04

    申请号:CN201810444291.1

    申请日:2018-05-10

    摘要: 本发明实施例提供一种异常流量数据的检测方法及系统。方法包括:将待检测流量数据包中的任一条流量数据的特征输入至训练好的自动编码器模型或主成分分析模型中,以获取任一条流量数据对应的评分;若评分大于预设异常门限,则判定任一条流量数据为异常流量数据。本发明实施例提供的方法及系统,通过采用非监督式机器学习聚类算法中的主成分分析法和自动编码器进行异常流量数据的检测,可以对网络中的流量数据进行在线或者离线的检测,具有更加广泛的应用。并且,利用机器学习算法去检测网络中的异常流量数据,可以避免人为筛选过程中因自身原因造成的高筛选误差,使网络提前采取相应的行为从而降低网络遭受攻击和用户隐私泄露的概率。