本发明提供一种基于查询的人体行为感知方法、装置及程序产品，所述方法包括：获取预先训练的人体行为感知模型，人体行为感知模型包括视频编码器和动作解码器；视频编码器用于提取视频数据对应的视觉特征；动作解码器用于将视觉特征作为查询键值对，与至少一个预设查询进行关联，优化至少一个预设查询并输出查询任务对应的结果；将视频数据输入所述人体行为感知模型，得到人体行为感知结果。本发明能够实现跨任务联合优化，完成人体行为感知领域的多个任务，提高通用性和可拓展性。