本发明提供一种说话人分段聚类方法及装置，以解决相关技术中处理短时说话人语音时，性能下降导致说话人聚类效果较差的问题。该方法包括：将待聚类语音划分为多个子语音段；通过权重联合概率线性判别分析WT‑PLDA模型对基于划分得到的各子语音段的I‑vector提取出各子语音段的特征信息W‑vector，所述WT‑PLDA模型的模型参数至少包括：均值向量、说话人子空间的投影矩阵、说话人因子的隐藏变量以及残差因子；通过概率线性判别分析PLDA根据划分后多个子语音段的所述W‑vector对该多个子语音段循环进行多次聚类，直至所述多个子语音段被聚类为两类。本发明提高了说话人的聚类效果。