推理重调度方法、装置、设备、介质及计算机程序产品

    公开(公告)号:CN118798355A

    公开(公告)日:2024-10-18

    申请号:CN202410723443.7

    申请日:2024-06-05

    Abstract: 本发明提供一种推理重调度方法、装置、设备及可读存储介质。应用于包括推理调度器和多个推理服务器的推理调度系统。方法包括:在推理调度器与服务注册中心合设的情况下,基于每个推理服务器上报的负载状态信息,确定待重调度的第一推理服务器以及接收重调度的目标推理服务器;在推理调度器与推理服务器的流量网关合设的情况下,基于推理调度器记录的每个推理服务器的请求处理信息,确定待重调度的第一推理服务器以及接收重调度的目标推理服务器;基于第一推理服务器的请求排队时间信息,以及目标推理服务器的请求数量信息,将第一推理服务器的待重调度请求发送给目标推理服务器。本申请提升了推理重调度的整体性能。

    一种性能测算方法、装置、电子设备和存储介质

    公开(公告)号:CN118796673A

    公开(公告)日:2024-10-18

    申请号:CN202410431913.2

    申请日:2024-04-11

    Abstract: 本公开提供了一种性能测算方法、装置、电子设备和存储介质。该方法包括:获取待测模型的模型超参数与运行环境信息;基于所述运行环境信息与所述模型超参数进行计算,得到所述待测模型的性能测算结果;所述性能测算结果包括如下至少一种:显存占用、作业时长、吞吐量、分布式策略;输出所述性能测算结果。这样,通过获取待测模型的模型超参数和运行环境信息直接进行理论计算,得到性能测算结果。以此,就不需要搭建计算环境进行真实的测算,有助于提前预测和优化模型性能,降低了成本以及技术难度,提高了测算的效率,满足了开发需求。

    终端定位方法、装置、设备及计算机程序产品

    公开(公告)号:CN118804279A

    公开(公告)日:2024-10-18

    申请号:CN202310880134.6

    申请日:2023-07-18

    Abstract: 本申请涉及定位领域,提供一种终端定位方法、装置、设备及计算机程序产品。终端定位方法应用于包括集群终端、移动管理实体、定位应用服务器、集群业务管理网元、基站以及调度台的宽带集群通信网络,终端定位方法包括:基于调度台发起的请求和集群业务管理网元发起的请求,确定集群终端注册的移动管理实体的地址;基于移动管理实体向定位应用服务器发送位置参数请求;将基站基于位置参数请求发送的位置参考消息转换为集群终端的定位信息。本申请通过对移动管理实体和定位应用服务器进行功能增强,实现宽带集群通信网络中基于集群基站的网络定位,多个集群终端的同时定位以及集群内终端成员之间的定位信息的获取。

    融合消息业务系统、方法、电子设备及存储介质

    公开(公告)号:CN118802825A

    公开(公告)日:2024-10-18

    申请号:CN202410102411.5

    申请日:2024-01-24

    Abstract: 本公开涉及融合消息业务系统、方法、电子设备及存储介质。接口模块,用于接收发送端向接收端发送的用户消息;位置管理模块,用于根据用户标识确定接收端的位置信息;业务开通模块,用于根据用户标识确定用户消息的消息下发策略和业务开通状态;消息处理模块,用于根据消息下发策略对用户消息进行转换;接口模块还用于,在接收端对应的业务开通状态为已开通的情况下,根据位置信息向接收端发送转换后的用户消息;业务开通状态为融合消息业务系统的开通状态。可见,本公开可以根据消息下发策略灵活的选择用户消息下发的方式,提升用户的使用体验,还能够实现各类用户消息业务资源的互通,提升业务设备的利用率,节约成本。

    异网漫游场景下的精准寻址方法及装置

    公开(公告)号:CN115988481A

    公开(公告)日:2023-04-18

    申请号:CN202210867604.0

    申请日:2022-07-22

    Abstract: 本发明实施例涉及移动通信技术领域,公开了一种异网漫游场景下的精准寻址方法、装置及计算设备,该方法包括:接收第一网络功能网元通过第二网络功能存储网元转发的第一服务发现请求;执行服务发现,获取匹配的会话管理网元集合,并判断数据网络名称的业务类型;如果业务类型为通用DNN,将会话管理网元集合中与第一服务发现请求中用户归属位置信息匹配的目标会话管理网元作为锚点会话管理网元;如果业务类型为专用DNN,将会话管理网元集合中的所有会话管理网元作为锚点会话管理网元;向第一网络功能网元返回匹配的锚点会话管理网元。通过上述方式,本发明实施例能够实现跨运营商异网漫游场景下接入侧AMF精准寻址异网服务于同一区域的锚点SMF。

Patent Agency Ranking