本发明属于人工智能技术领域，涉及一种公平高效的多对话系统测评系统及方法，所述测评系统包括：人机交互窗口，用于供标注人员输入标注问题、显示多对话系统生成的各自的回复及供标注人员选择最佳回复；共享对话历史模块，用于存储历史输入的标注问题及其对应最佳回复以及最新输入的标注问题并将它们输入到对话系统中；多对话系统，用于生成各自的回复；回复处理模块，用于对回复进行处理并将处理后的回复发送到人机交互窗口；排名模块，用于确定多对话系统的排名；排行榜模块，用于更新多对话系统的排行榜。其与人工评测之间存在更强的相关性，且能同时完成多个对话系统的评测，更高效、更节省人力。