本发明公开了一种在FPGA上部署卷积神经网络的方法，涉及CNN硬件部署技术领域，该方法包括：在对卷积神经网络进行Python到C++代码的转换过程中：若卷积神经网络中存在特定网络结构，则对每个特定网络结构，将特定网络结构内两个层合并到一个共享的内层循环中；特定网络结构为两个层具有共享的外部循环，两个层之间只有中间结果的数据存在数据依赖关系；若卷积神经网络中卷积层的数量小于或者等于设定值，则采用循环展开的方式循环并行计算，否则则采用循环流水的方式循环并行计算；对于卷积神经网络中参与计算的数组，对数组进行切片得到多个缓冲区；缓冲区分为行缓冲和窗口缓冲。本发明实现了CNN快速低功耗推理工作。