本发明公开一种可灵活配置的神经网络计算单元、计算阵列及其构建方法，神经网络计算单元包括：可配置存储模块、可配置控制模块和可时分复用的乘加计算模块；可配置存储模块包括：特征图数据缓存buffer、步长数据缓存buffer和权值数据缓存buffer；可配置控制模块包括：计数器模块和状态机模块；乘加计算模块包括：乘法器和累加器。本发明可支持任意类型的卷积计算，且支持多尺寸卷积核并行计算，充分发掘卷积神经网络计算单元的灵活性和数据重用性，大幅降低由数据搬移带来的系统功耗，提高系统的计算效率。