本发明涉及预测检测到的物体的行为的系统和方法。一种控制车辆的方法包括：根据第一控制策略来控制车辆，该第一控制策略是基于到目的地的路线来确定的；使用一个或多个传感器来检测在该车辆外部的位置处的物体；使用处理器来确定所检测到的物体的类别和状态；基于该物体的所检测到的位置以及行为数据来预测所检测到的物体的未来行为，该行为数据指示：在与检测到所检测到的物体位于所检测到的位置的时间相对应的时间处，具有与所检测到的物体的所确定的类别和状态相对应的类别和状态的其他物体在所检测到的位置处已如何操作；以及至少部分基于所检测到的物体的所预测的未来行为，修改该第一控制策略以获得用于控制该车辆的第二控制策略。