本公开涉及深度神经网络的硬件实现的端到端数据格式选择。用于选择用于表示输入至和/或输出自DNN的层的值的定点数格式的方法，该方法考虑了定点数格式对DNN的上下文中的特定层的影响。方法包括在预定序列中一次针对一个层来选择用于表示输入至和/或输出自该层的多组值的(一个或多个)定点数格式，其中在序列中任何层之前是该层依赖的(一个或多个)层。基于与定点数格式相关联的DNN的输出中的误差来选择针对每个层的(一个或多个)定点数格式。一旦针对一个层的(一个或多个)定点数格式已经被选择，则序列中后续层的DNN的输出中的误差的任意计算将基于被配置为使用选择的定点数格式的该层。