本发明提出了一种基于字典学习和低秩矩阵分解的说话人识别方法，包括以下步骤：步骤1，对说话人音频进行预加重、分帧、加窗、端点检测等处理；步骤2，提取出对应每个说话人语句的MFCC特征，并训练GMM‑UBM模型；步骤3，通过联合因子分析（JFA）估算全局差异空间矩阵T，全局差异空间因子w；步骤4，得到对应每个说话人语句的i‑vector；步骤5，从训练集中提取M维度的i‑vector并生成特征矩阵，根据训练集和测试集，对判别字典进行生成，得到的字典将作为i‑vector后端处理和打分模块，为最终判别提供依据；适应字典学习准则的编码系数可以有效提升识别力，并通过结构化稀疏来进行最优分类。