本发明公开了一种基于稀疏表示的场景图生成方法和系统，该方法包括：通过快速区域卷积神经网络对原图像进行目标检测，获得目标区域集；通过预设的关系度量网络将目标对的所有边识别为前景边和背景边，并构造稀疏图；通过基于图注意力神经网络的特征融合和更新策略，对稀疏图上的节点和边进行同步学习，并识别目标类型和关系；根据识别得到的目标类型和关系生成场景图。本发明能够有效过滤虚假关系，进而有效生成稀疏图，并且降低了稠密图的计算复杂度以及提高了图消息传递效率；同时本发明能够准确从稀疏图中提取特征，进而准确生成场景图。