本发明提供了一种基于深度学习的多模态癌症生存风险预测方法，包括采集癌症患者的全载玻片图像以及对应的临床数据、基因数据；采用Macehko颜色归一化方法对所述全载玻片图像进行处理，采用词嵌入方法对临床数据进行处理，采用Cox单因素分析方法对基因数据进行特征筛选；基于处理后的全载玻片图像、临床数据、基因数据构建预测数据集；采用基于注意力的多实例学习算法构建生存预测模型，基于生存预测模型以及预测数据集获取癌症患者的生存预测结果；对生存预测模型进行训练与评估，本发明提供了将词嵌入应用于多癌种患者的临床数据并建立预测预后模型的程序，增强了模型学习临床变量之间潜在关联的能力并提高模型预测性能。