本发明涉及图像处理技术领域，公开了一种海思无NPU硬件上实现的卷积神经网络方法，包括以下步骤：修改网络结构，修改网络结构中的卷积单元，通过多个卷积单元设计出YOLO或SSD网络模型；训练网络模型使用8位图像作为YOLO或SSD网络模型的输入，对YOLO或SSD网络模型进行训练，使得卷积单元中的卷积层、池化层、反卷积层和激活层中的每一层的输出均通过激活函数变换为8位数据，卷积核也使用8位进行存储；使用训练好的YOLO或SSD网络模型通过IVE算子设计前向运算，这种实现卷积神经网络的方法，成本低廉，可以在现有大量使用的安防前端设备上完成高性能的视频检测、分析任务，不增加成本。