-
Patent Agency Ranking
公开(公告)号：CN119886325A
公开(公告)日：2025-04-25
申请号：CN202411790422.3
申请日：2024-12-06
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种面向隐私保护的高效协同推理方法及系统，属于数据安全领域。本发明向协同推理中间数据加入服从单峰随机分布的量化噪声，既通过量化减少中间传输数据的大小，又通过噪声添加保护中间数据的隐私安全。本发明还通过重训练微调协同推理中服务器上模型切片，以提升协同推理的准确性。本发明能同时降低协同推理的通信开销和保护协同推理的数据隐私。
-
公开(公告)号：CN116306943B
公开(公告)日：2023-10-17
申请号：CN202310254000.3
申请日：2023-03-16
Applicant: 中国科学院软件研究所
Abstract: 本发明提供一种面向AIoT的多任务本地协同推理方法及系统，属于分布式机器学习领域。本发明通过AIoT客户端将客户端本地模型切片推理的中间结果通过并行通信局域网发送至本地服务器，本地服务器使用同一模型切片对中的对应模型切片初始化推理引擎并完成推理过程，随后将结果回传至原客户端。本发明使用局部贪心搜索对协同推理中所用的模型切片进行通信优化，使用内存复用和内存替换加速推理引擎初始化，通过两级并行执行流来执行的协同推理任务。本发明使用本地设备和局域网进行协同推理，避免了传统方法中的隐私泄露和网络波动问题，为大量AIoT客户端提供低延迟的协同推理服务，提升了系统处理协同推理任务的吞吐量。
-
公开(公告)号：CN116360987A
公开(公告)日：2023-06-30
申请号：CN202310261234.0
申请日：2023-03-17
Applicant: 中国科学院软件研究所
Abstract: 本发明提供一种自适应负载均衡方法及系统，属于负载均衡领域。本发明基于的并行流水线执行模式是使用包含若干流水级的并行执行流执行来自多个客户端的任务，本方法在拥塞延迟变高且在执行流之间不均衡时，依次使用交叉熵方法和强化学习分别进行执行流之间的负载均衡以及客户端和服务器之间的负载均衡。本发明能基于当前拥塞延迟的严重程度在客户端‑服务器计算范式中对使用并行流水线执行模式的服务器进行负载均衡，提供了比传统的负载均衡方法更细粒度的负载均衡，能够降低拥塞延迟和拥塞延迟的波动，提升服务器处理来自多个客户端的任务的性能。
-
公开(公告)号：CN116306943A
公开(公告)日：2023-06-23
申请号：CN202310254000.3
申请日：2023-03-16
Applicant: 中国科学院软件研究所
Abstract: 本发明提供一种面向AIoT的多任务本地协同推理方法及系统，属于分布式机器学习领域。本发明通过AIoT客户端将客户端本地模型切片推理的中间结果通过并行通信局域网发送至本地服务器，本地服务器使用同一模型切片对中的对应模型切片初始化推理引擎并完成推理过程，随后将结果回传至原客户端。本发明使用局部贪心搜索对协同推理中所用的模型切片进行通信优化，使用内存复用和内存替换加速推理引擎初始化，通过两级并行执行流来执行的协同推理任务。本发明使用本地设备和局域网进行协同推理，避免了传统方法中的隐私泄露和网络波动问题，为大量AIoT客户端提供低延迟的协同推理服务，提升了系统处理协同推理任务的吞吐量。
-
公开(公告)号：CN116360987B
公开(公告)日：2023-09-12
申请号：CN202310261234.0
申请日：2023-03-17
Applicant: 中国科学院软件研究所
Abstract: 本发明提供一种自适应负载均衡方法及系统，属于负载均衡领域。本发明基于的并行流水线执行模式是使用包含若干流水级的并行执行流执行来自多个客户端的任务，本方法在拥塞延迟变高且在执行流之间不均衡时，依次使用交叉熵方法和强化学习分别进行执行流之间的负载均衡以及客户端和服务器之间的负载均衡。本发明能基于当前拥塞延迟的严重程度在客户端‑服务器计算范式中对使用并行流水线执行模式的服务器进行负载均衡，提供了比传统的负载均衡方法更细粒度的负载均衡，能够降低拥塞延迟和拥塞延迟的波动，提升服务器处理来自多个客户端的任务的性能。
-
-
-
-
Search Results
5
records
(took 0.024 seconds)
