本发明实施例提供一种语音会议纪要的分类方法、设备和系统，涉及通信领域，能够将会场中的语音数据按照说话人的方位分别进行声纹识别，提高了声纹识别准确率，进而提高了语音会议纪要分类的可靠性。其方法为：根据会场的音频数据进行声源定位，以获取音频数据所对应的声源的方位，并将声源的方位写入音频数据的附加域信息，再将语音激活标志写入附加域信息，而后将音频数据打包成音频码流，并将音频码流和音频码流的附加域信息发送至录播服务器，以使得录播服务器根据附加域信息对音频数据进行分类，将音频数据所对应的声源的方位对应的参会者身份写入音频码流的附加域信息中。本发明实施例用于对语音会议纪要进行分类。