本发明提出一种嵌入式设备的卷积神经网络模型编译系统及方法，属于人工智能设备技术领域，包括：模型计算图表示单元、卷积神经网络固定优化模块、卷积神经网络自动优化模块、自动优化过程模块、模型编译优化单元、模型部署及推理单元；针对模型计算量最大的卷积神经网络算子进行优化，并且只优化卷积神经网络算子的切边大小以及循环展开步长，尽量在最大程度优化算子的同时，减少优化空间，缩短优化时间；另外，打通了从训练后模型到嵌入式设备推理的整个流程，实现卷积神经网络模型的快速优化及部署。通过上述方式，可以在嵌入式设备上快速部署高性能的卷积神经网络模型，具有较高的实用价值和创新价值。