本公开提供了一种多模态的对话生成模型的训练方法、装置及电子设备，涉及计算机技术领域，尤其涉及自然语言处理、深度学习、计算机视觉等人工智能技术领域。包括：获取第一训练数据集，其中，第一训练数据集中包括第一对话语料对；基于第一训练数据集，对初始对话生成模型进行预训练，以生成参考对话生成模型；获取第二训练数据集，其中，第二训练数据集中包括第二对话语料对及对应的人脸图像；基于第二训练数据集及第一预设的调整权重，对参考对话生成模型及图像特征提取网络进行修正训练，以获取多模态的对话生成模型。由此，使得生成的多模态的对话生成模型既能具有较强的文本对话能力，又能准确地预测出语音输入信号对应的答复信号。