方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于训练具有多个子神经网络的神经网络，以将相应的置信度分数分配给因素的一个或多个候选未来轨迹。每个置信度分数指示因素将在未来沿着对应的候选未来轨迹移动的预测可能性。在一个方面，一种方法包括：使用第一子神经网络来生成训练中间表示；使用第二子神经网络来生成相应的训练置信度分数；使用轨迹生成神经网络来生成训练轨迹生成输出；计算第一损失和第二损失；以及确定第一子神经网络和第二子神经网络的参数的当前值的更新。