本发明公开了基于动态层次化掩码的神经网络有损传输优化方法及系统，该方法包括：获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络；基于若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；对若干具有层次化掩码的子深度神经网络进行训练；将训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到输入数据对应的输出数据。本发明通过引入动态层次化掩码，能够避免网络传输对中间特征造成的损失以及提升分布式协同推理的效率。本发明作为基于动态层次化掩码的神经网络有损传输优化方法及系统，可广泛应用于深度神经网络优化技术领域。