-
公开(公告)号:CN118672482A
公开(公告)日:2024-09-20
申请号:CN202310284586.8
申请日:2023-03-17
IPC: G06F3/06 , H04L67/1097 , G06F13/28
Abstract: 本申请实施例公开一种分布式存储方法以及相关装置,该方法包括:接收来自客户端的第一报文,第一报文请求读取第一数据,第一报文携带第一键key,第一key对应第一数据;向存储节点发送第二报文,第二报文请求读取第一数据,第二报文携带第一目的地址,第一目的地址与第一key对应,第一目的地址对应的存储区域存储有第一数据。通过上述方法,使得存储节点可根据第二报文携带的第一目的地址直接读取第一报文请求读取的第一数据。在绕开存储节点的处理器的前提下,在一次往返时延RTT内完成操作。减少网络传输带来的延迟,降低存储节点的计算资源的占用率。
-
公开(公告)号:CN119271401A
公开(公告)日:2025-01-07
申请号:CN202411325526.7
申请日:2024-09-23
Applicant: 北京大学
Abstract: 本申请公开了一种基于资源解耦合的多低秩适配器分布式推理调度方法、装置、设备及存储介质,应用于任务发送设备,包括:获取包含多个推理任务请求的请求队列,以及包含已完成的历史任务请求的请求记录数据;根据推理任务请求所对应的输出数据和时间戳以及请求记录数据,确定发送优先级;其中,发送优先级与推理任务请求的预估截止时间负相关;将请求队列中发送优先级最高的推理任务请求选定为目标推理任务请求;将目标推理任务请求发送至任务执行设备,以执行目标推理任务请求。通过本申请的方法避免了任务之间的资源争抢和相互干扰,解决了资源解耦合推理过程中,由于服务之间互相争抢资源、彼此干扰而造成的服务满足率下降的问题。
-