- 专利标题: 一种AI服务请求调度的方法、装置、设备及介质
-
申请号: CN202311348107.0申请日: 2023-10-18
-
公开(公告)号: CN117076057B公开(公告)日: 2024-01-26
- 发明人: 孙晓刚 , 徐建刚
- 申请人: 成都阿加犀智能科技有限公司
- 申请人地址: 四川省成都市高新区天府五街200号1号楼A区7层701-703室
- 专利权人: 成都阿加犀智能科技有限公司
- 当前专利权人: 成都阿加犀智能科技有限公司
- 当前专利权人地址: 四川省成都市高新区天府五街200号1号楼A区7层701-703室
- 代理机构: 广州三环专利商标代理有限公司
- 代理商 孙朝锐
- 主分类号: G06F9/455
- IPC分类号: G06F9/455
摘要:
本申请提供一种AI服务请求调度的方法、装置、设备及介质,涉及目标识别技术领域,用于解决现有的AI服务请求调度技术中出现的低资源利用率和低响应等问题。该方法包括:调用目标AI网关通过Nginx服务器接收AI业务系统发送的资源调度请求;根据预设的负载均衡算法与算力集群中各个节点的节点信息,调用所述目标AI网关确定进行资源调度的目标节点;其中,所述各个节点均采用AidLux融合操作系统,且所述节点信息包括节点状态、资源配置以及负载情况;在所述目标AI网关与所述目标节点中的AI应用之间建立websocket长连接;调用所述目标AI网关通过所述websocket长连接将所述资源调度请求分配给所述目标节点。
公开/授权文献
- CN117076057A 一种AI服务请求调度的方法、装置、设备及介质 公开/授权日:2023-11-17