一种AI服务请求调度的方法、装置、设备及介质
摘要:
本申请提供一种AI服务请求调度的方法、装置、设备及介质,涉及目标识别技术领域,用于解决现有的AI服务请求调度技术中出现的低资源利用率和低响应等问题。该方法包括:调用目标AI网关通过Nginx服务器接收AI业务系统发送的资源调度请求;根据预设的负载均衡算法与算力集群中各个节点的节点信息,调用所述目标AI网关确定进行资源调度的目标节点;其中,所述各个节点均采用AidLux融合操作系统,且所述节点信息包括节点状态、资源配置以及负载情况;在所述目标AI网关与所述目标节点中的AI应用之间建立websocket长连接;调用所述目标AI网关通过所述websocket长连接将所述资源调度请求分配给所述目标节点。
0/0