本发明提供一种基于场景图的行为判定方法、系统、设备及存储介质，属于行为判定技术领域。基于场景图的行为判定方法包括：获取待判定的场景图片序列；提取场景图片序列中各场景图片的特征信息和序列信息，构建场景图；提取当前场景中预设的具体规则的多个关键词，获得与关键词相匹配的多个结点；提取与关键词相匹配的每个结点对应的边的信息；将所述边的信息与结点结合后，计算与所述具体规则中各规则的相似度，对行为进行判定。解决了由人工识别具体行为工作量大，成本高的问题。