本发明公开了一种基于深度学习的语音识别方法，该方法包括音源采集、音源预处理、抗噪增强、口语理解、说话人识别和语音识别，本发明属于语音识别技术领域，具体是指一种基于深度学习的语音识别方法。本方案采用时频去噪网络结合损失函数训练预测模型的方法进行对音源数据的抗噪增强，提高了音源数据的质量，采用基于集成学习的口语识别架构进行口语理解，提高了语音识别的可用性和精确性，采用基于决策函数的说话人身份识别和分类算法，分析和处理音源数据进行说话人识别，提高了语音识别的信息获取密度和优化了语音识别的信息获取结构，进而优化了语音识别的可靠性、可延展性和适用性。