本申请提供了基于音视频的用户认证方法和装置。其中，该方法包括：获取用户在进行身份注册时提供的视频图像帧、语音帧；利用视频图像帧和语音帧分别训练出人脸模型和声纹模型，将人脸模型、声纹模型与所述用户的标识对应存储至设定存储空间；在对任一用户进行认证时，采集该被认证用户的视频图像帧和语音帧，从设定存储空间找到与采集的视频图像帧匹配的人脸模型，并获取与该找到的人脸模型对应的第一用户标识，以及，从设定存储空间找到与该采集的语音帧匹配的声纹模型，并获取该找到的声纹模型对应的第二用户标识；比较第一用户标识和第二用户标识是否相同，依据比较结果验证所述被认证用户是否通过认证。采用本发明，能够避免现有用户认证带来的诸多风险问题。