本申请公开了一种通话人物异常的检测方法和装置，其中方法包括：在通话开始时，终端设备获取需要异常检测的通话对象的真实音视频数据以及相应的预先训练的多阶段神经网络检测模型；在通话进行过程中，所述终端设备按照预设的数据采集策略，采集通话数据；对于每个所述通话对象，将当前采集的所述通话数据和该通话对象的所述真实音视频数据，输入该通话对象的所述模型，根据该模型输出的检测结果，确定所述通话对象是否异常；其中，所述通话数据包括图像数据和/或语音数据，所述模型采用的识别方式包括人脸识别、声纹识别、肢体动作识别和/或唇语识别。采用本发明可以对通话人物异常进行准确检测，可以对通话中利用AI模仿的虚假音视频进行准确识别。