本发明公开了基于时频图和多尺度CNN的滚轴轴承的故障诊断方法，首先通过加速度传感器采集到滚动轴承不同故障下的原始振动信号，并构建不平衡数据集；分别对上述某类型的原始振动数据样本进行广义S变换生成时频图样本，将时频图样本随机分成训练集和测试集；构建多尺度CNN模型，并将训练集输入到卷积神经网络中进行训练；将训练好的模型进行测试集故障识别。本发明使用时频图克服了非平稳信号时域或者频域分析不足的问题，同时使用多尺度CNN网络自动提取更有代表性的特征和识别，在不平衡样本的情况下也能达到较高的识别精度。