本发明提供一种实现端到端多任务的方法、系统、设备和存储介质，方法包括：使用图文预训练模型对任务图像进行编码得到包括整张图像特征的第一向量；对所述任务图像进行预处理，并使用自注意力模型对预处理后的任务图像进行计算得到图像块之间具有关联性的第二向量；将所述第一向量和所述第二向量进行拼接得到图像融合特征；以及对所述图像融合特征进行编码和解码后输出到多个任务分支进行任务处理。本发明通过图文预训练模型进行多模态预训练，提高了模型在多分类、目标检测、语义分割和实例分割中的的鲁棒性；提高了模型的推理速度，降低了模型部署的复杂度和对硬件设备的要求。