本发明公开了一种基于动作知识库与集成学习的视频行为识别方法及系统，使用3D深度残差网络提取输入视频的全局特征，借助动作知识库来提取基于视觉的动作状态特征和基于语言的动作状态特征；将提取出的特征依照人体部位构建对应的图结构，构建一种多头图卷积特征融合网络来对构建的图结构进行信息融合；构建五种结构类似的弱分类器，前三个分类器输入为上述三种特征，后两个分类器输入为级联之后的特征；提出了一种动态的交叉熵损失函数，来对不同的弱分类器的结果进行集成与分类。实现对视频段中包含的动作的分类，提升了分类准确率。