本发明公开了基于改进RTFNet的纯视觉自动驾驶控制系统、方法、介质，涉及自动驾驶控制领域。针对传统自动驾驶方法在夜间、迎面车灯眩光、雨\雪、沙尘暴和雾霾等低可见度环境下行驶效果欠佳的问题，在语义分割模块引入一种改进的基于多模态特征融合的语义分割方法RTFNet，使用自制数据集训练改进RTFNet网络模型，融合RGB图像和热红外图像并进行语义分割生成分割图，将分割图作为强化学习系统的输入状态进行训练，使两类图像数据优势互补，从而提高自动驾驶系统的感知能力、泛化能力和可靠性。在强化学习模块引入模仿学习预训练和DDPG算法，通过在自动驾驶仿真试验台和真实环境中训练强化学习模型使得自动驾驶系统逐步达到人类可以接受的驾驶水平。