本发明公开一种深度神经网络模型并行模式选择方法，包括以下步骤：S1、测算整个神经网络模型的总数据量；S2、判断S1中获得的神经网络模型的总数据量是否超过进行训练的单个计算节点的可用内存总量，如果不超过，执行S3，如果超过，执行S4；S3、选择数据并行模式；S4、将神经网络模型的网络层进行切分，根据切分的结果，得到神经网络模型所需要分布的计算节点数量，如果输入参数中的计算节点数量不足模型切分所需节点数量两倍以上，执行S5，否则执行S6；S5、选择模型并行模式；S6、选择包括数据并行和模型并行的混合并行模式。本发明通过对模型参数、超参数和数据量的信息采集和分析，实现分布式扩展并行模式的自动选择，并且保证较高的并行性能。