本发明涉及计算机视觉和自然语言处理领域。本发明提出了一种基于视觉概念词关联结构化建模的图像描述方法，通过图像描述模型对输入的图像，生成所述图像的描述语句。图像描述模型的训练过程包括：将训练数据输入视觉特征提取和编码模块，得到视觉特征；将视觉特征输入视觉概念预测模块，得到对应的视觉概念词，将视觉概念词输入视觉概念关联结构化建模模块，得到结构化视觉语义概念词特征；将视觉特征和结构化视觉语义概念词特征输入描述生成模块，得到描述语句。基于总体损失函数训练模型。本发明提供的方法对单词在文本模态中的语言学先验的提取做了有效的约束。