本发明公开了一种考虑语音中多因素的频率位移不变特征提取方法，用于复杂环境下的文本无关说话人辨别，该方法考虑了语音的时间、频率、尺度和相位信息，通过不同尺度和相位的二维复数小波变换对语音信号能量谱进行多因素表征，考虑频率的位移不变特性，利用卷积型非负张量分解方法，计算频率阶上的位移不变特征投影矩阵，得到多因素的稀疏特征，通过离散余弦变换对特征去相关，计算特征的一阶和二阶差分系数，最终获得具有较好鲁棒性的说话人特征。本发明考虑语音信号多因素频率位移不变特征提取方法，利用卷积型非负张量分解方法计算具有鲁棒性的多因素频率位移不变特征，用于噪声环境下的文本无关说话人辨别，具有较好的识别准确率。