本发明提供一种基于说话人向量复用的语音识别系统，包括终端设备、说话人向量提取器、说话向量云缓存器、云端语音识别服务器和语音识别引擎，终端设备、说话人向量提取器、说话向量云缓存器和语音识别引擎分别与云端语音识别服务器连接。本发明的有益效果：本发明通过对说话人向量进行复用，并在语音识别引擎识别前通过云端语音识别服务器对终端说话人向量和云端说话人向量进行融合，从而提高语音识别引擎识别率，解决因提取的说话人向量的精度不高导致语音开始部分的识别率不高的问题。