本发明提供针对多说话人的单通道语音分离方法，其包括：构建语音分离深度神经网络；获取第一编码、第二编码和第三编码；通过解卷积层解码第一编码及第三编码获取多个输出通道的语音分离信号；对语音分离深度神经网络有监督的训练，以获得训练后的语音分离深度神经网络；将待测试语音样本输入到训练后的语音分离深度神经网络中，获取待测试语音样本中多个语音分离信号。本发明通过分离网络的音素附加输入和注意力机制可增加网络对语音信号分离的依据，相比原有方法可有效提高语音输出的准确性，降低语音的失真率，提高可懂度。同时，本发明还提供了针对多说话人的单通道语音分离系统。