本发明提供一种基于时延神经网络的电力客服语音识别方法及装置，该方法包括以下步骤：步骤S1：语音预处理：接入客户语音，利用Kaldi工具对客户语音进行预处理；步骤S2：音素提取：基于时延神经网络TDNN的声学模型，获得多段语音间的影响因子和关联特征，从而识别出多段语音的音素；步骤S3:语音转文本：利用声学模型提取的音素组合，结合电网发音字典和Tri‑Gram语言模型，将声学模型识别的音素转化成最优的文本序列，进行音文转换；步骤S4：回复客服咨询：依据语言模型获得语音的文本信息，利用TF‑IDF算法计算同电网客服问答库中各咨询语句的相似度距离，获得最相似咨询语句对应的答案，回复客户的咨询。本发明引入用户意图的连贯性因素，提升语音识别的准确性。