本发明涉及公交智能管理领域，公开了一种基于深度学习的公交车客流统计分析系统，其特征在于，包括车载设备模块与远程服务器模块。其中，客流分析主要由乘客检测模块和目标跟踪模块组成。乘客检测模块设计有深度神经网络模型，用于检测上下车的乘客；目标跟踪模块根据公交车上下车乘客的轨迹特点，设计专用的行人跟踪算法，以乘客检测模块的结果为基础，统计上下车的人数。远程服务器模块完成实时接收客流数据以及神经网络的训练。本发明采用最新的深度神经网络方法，通过采集大量各种光照条件下的目标样本对网络进行训练，克服原有图像识别方法不能很好适应不断变化车辆运行环境的缺点，提高了识别和跟踪的准确度。