本发明公开了一种基于VQ和SVM算法的说话人确认方法及其系统，说话人确认方法包括：步骤A、采集声称是目标用户的待确认用户的语音信号、并提取其特征向量组；步骤B、对所述特征向量组进行VQ算法计算生成该待确认用户的码本，将所述码本作为测试样本；步骤C、将目标用户的码本与预存的其他授权用户的码本一对一训练一个SVM说话者模型，将测试样本带入SVM说话者模型当中进行分类，然后判断所述目标用户的训练数据与分类结果是否匹配，匹配则识别待确认用户为目标用户。本发明针对家用系统不使用背景模型，而采用“一对一”训练方式训练SVM说话者模型，可一定程度上提高说话人确认的准确性。