本发明公开了一种基于多尺度预测CNN及龙芯芯片的多类别目标识别方法，包括：将目标图像输入到搭建好的多尺度背景预测卷积神经网络，输出分类结果；将分类结果为物体的候选框，去除重复的候选框；对多尺度背景预测卷积神经网络充分训练，得到训练好的多尺度背景预测卷积神经网络；视觉摄像头采集视频文件，并且统一尺寸大小；将训练好的多尺度背景预测卷积神经网络模型移植到基于龙芯芯片的嵌入式系统中完成对多类别目标的识别。本发明充分考虑了目标识别快速准确的特点，设计了多尺度背景预测卷积神经网络，利用多尺度网络模型来对多类别目标进行识别，提高了对于多类别目标的识别准确率和速度，并且具有很高的可移植性，应用前景广泛。