本发明属于计算机技术领域，具体涉及一种语音驱动的三维人脸动画生成方法，包括以下步骤：1)提取语音特征，并将该语音的身份信息嵌入到特征矩阵中；2)通过编码器将特征矩阵映射到低维空间，得到中间变量；3)利用解码器将中间变量映射到3D顶点位移的高维空间，对中间变量进行3D图形几何的约束，得到3D空间的位移量；4)根据获取的3D空间的位移量驱动模板模拟面部动画。与现有技术相比，本发明创新性地利用了3D几何图形特性来约束中间变量，通过引入非线性几何图形表示法和来自不同视角的两个约束条件，使得生成的3D面部表情更加生动形象。此外，本发明还提出了一种语音驱动的三维人脸动画生成网络结构。