一种分布式AI服务引擎系统

    公开(公告)号:CN115834669B

    公开(公告)日:2023-05-09

    申请号:CN202310108302.X

    申请日:2023-02-14

    IPC分类号: H04L67/51 H04L67/10

    摘要: 本发明提出了一种分布式AI服务引擎系统,包括原子服务层、引擎中控层和应用层,其中,原子服务层包括负载均衡器和多个AI服务实例,用于实现AI模型的推理能力;引擎中控层包括一个Leader节点和与Leader节点对应的多个Worker节点,用于创建表达式服务、调用表达式服务和更新缓存;其中Leader节点与Worker节点的内部包括功能决策模块、缓存模块、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务模块、溢写模块;应用层,用于调用中控层提供的表达式构建和服务调用的功能。通过本发明提出的分布式AI服务引擎系统,有效的提高了服务开发效率、服务响应速度和减少了系统资源的浪费。

    一种分布式AI服务引擎系统

    公开(公告)号:CN115834669A

    公开(公告)日:2023-03-21

    申请号:CN202310108302.X

    申请日:2023-02-14

    IPC分类号: H04L67/51 H04L67/10

    摘要: 本发明提出了一种分布式AI服务引擎系统,包括原子服务层、引擎中控层和应用层,其中,原子服务层包括负载均衡器和多个AI服务实例,用于实现AI模型的推理能力;引擎中控层包括一个Leader节点和与Leader节点对应的多个Worker节点,用于创建表达式服务、调用表达式服务和更新缓存;其中Leader节点与Worker节点的内部包括功能决策模块、缓存模块、归并优化器、状态控制器、逻辑运算器、排序模块、存储服务模块、溢写模块;应用层,用于调用中控层提供的表达式构建和服务调用的功能。通过本发明提出的分布式AI服务引擎系统,有效的提高了服务开发效率、服务响应速度和减少了系统资源的浪费。