本发明公开一种基于彩色图像RGB映射特征的CNN声纹识别方法及系统，该方法的实现过程为：S1：输入语音数据；S2：提取特征，从语音数据中提取特征，所提取特征包括：静态、一阶差分，二阶差分特征，用以充当图像RGB中红色、绿色和蓝色的角色；S3：将提出的特征输入到构建的CNN模型，得出识别结果。本发明与现有技术相比，相比较于传统GMM模型识别率具有显著的提高；语音时长对于CNN识别率的影响很小，在噪声环境下，CNN识别率依然维持在很高的水平，说明CNN对于噪声具有很好的鲁棒性。