一种用于自适应地实现自动驾驶车辆中的乘客舒适度增强的自学型系统和方法。该系统包括多个传感器输入。每个传感器输入提供表示来自车辆中的乘客的语音响应和图像响应的数据。控制器耦合到所述多个传感器输入。控制器生成并更新包括多种驾驶状态转换的补偿函数。所述补偿函数基于目的地信息和表示语音和图像响应的数据来更新。控制器还生成确定最佳驾驶状态转换的目标函数，并且基于更新的补偿函数和先前的目标函数来更新所述目标函数。控制器还基于更新的目标函数来生成车辆速度控制信号，以控制自动驾驶车辆的速度。