本发明涉及大数据处理技术领域，公开了一种基于批处理动态调节的模型推理调度方法及系统，其方法通过对多个异构处理器进行性能测试，得到相应的处理性能，根据异构处理器的硬件状态和处理性能加和处理，得到相应的异构处理器的推理工作量，并确定推理工作量最小的异构处理器，通过推理调度器将预设的推理模型部署在推理工作量最小的异构处理器上，并且，异构处理器执行预设的推理模型的推理服务，对待处理数据进行批处理，从而使得部署的模型可以分配足够的资源完成推理工作，缓解处理器资源争用的问题，提高了模型推理效率。