本发明公开了一种卷积神经网络最优结构自动搜索方法，属于机器学习视觉识别领域。所述方法针对每一个特定的计算机视觉任务，基于随机漂移粒子群算法的自动寻找最优卷积神经网络结构，寻找过程中，设定每一个粒子位置代表一个CNN结构，通过随机漂移粒子群算法的不断迭代，最终搜索到一个模型更小但性能更好的深度卷积神经网络。通过在Rectangles数据集上进行图像分类实验时获得了98.16％的平均分类准确度，相对于现有的7层CNN结构的LeNet‑5网络得出的87.66％的准确率以及11层结构的AlexNet网络的88.96％的分类准确率，本申请方法搜索出的CNN结构能够获得更高的准确率。