一种基于网内计算平台的物联网设备计算卸载架构

    公开(公告)号:CN112671852A

    公开(公告)日:2021-04-16

    申请号:CN202011470288.0

    申请日:2020-12-14

    IPC分类号: H04L29/08 H04L29/06

    摘要: 本发明公开了一种基于网内计算平台的物联网设备计算卸载架构。本发明包括INPIE Service Cluster、ME Cluster、Remote Cloud,所述INPIE Service Cluster作为提供网内计算卸载服务的主体,所述ME Cluster为MEC计算卸载服务提供主体,所述Remote Cloud为云计算卸载服务提供主体,当前的可编程数据平面设备先天具有低时延,高吞吐的性能优势,可以流水线式地并行处理数据报文,因此会拥有比传统的服务器(主机)计算卸载架构更低的业务响应时延,由于改进后物联网设备计算使可编程数据平面设备辅助物联网设备更好的进行计算卸载,同时能与MEC和云计算框架融合,所以产生了提高业务的时延,吞吐量性能,提高实时业务的保障能力的效果。

    卸载动作集合获取方法及装置

    公开(公告)号:CN111782301A

    公开(公告)日:2020-10-16

    申请号:CN202010654636.3

    申请日:2020-07-08

    IPC分类号: G06F9/445 G06N3/04 G06N3/08

    摘要: 本发明提供卸载动作集合获取方法及装置,涉及集合获取领域。方法包括:获取目标应用程序任务;对目标应用程序任务进行训练,生成初始卸载动作集合;基于初始卸载动作集合确定多个新卸载动作集合;对多个新卸载动作集合的集合数量进行更新得到更新之后的多个新卸载动作集合;从对目标应用程序任务进行训练的步骤开始反复执行上述过程直至将满足迭代停止条件时的更新后的多个新卸载动作集合确定为集合数量最少的多个新卸载动作集合;对更新后的多个新卸载动作集合分别进行成本函数计算,获取最低成本函数值对应的卸载动作集合。本发明实施例的卸载动作集合获取方法及装置通过迭代得到最低成本函数值对应的卸载动作集合,达到降低总能耗的技术效果。

    一种基于多智能体强化学习的时延容忍网络路由算法

    公开(公告)号:CN112867083A

    公开(公告)日:2021-05-28

    申请号:CN202011588326.2

    申请日:2020-12-29

    摘要: 本发明公开一种基于多智能体强化学习的时延容忍网络路由算法,其特征在于,步骤包括:一、将时延容忍网络节点进行Louvian分簇算法,提出了一种集中式加分布式的分层架构;二、结合正社会特性将DTN节点选择下一跳问题建模为分布式部分可观测马尔科夫决策过程(Dec‑POMDP)模型;与现有技术相比,本专利技术方案对比现有的基于社会属性的时延容忍网络路由方案,提出了一种分层架构,能够方便地捕捉边缘设备的社会信息;一方面分布式地执行计算中心下发的路由决策,另一方面在计算中心根据服务单元传来的状态集中式地训练路由算法。能够更有效地利用社会特性进行时延容忍网络中的路由转发,使得投递率提高和平均时延降低。

    卸载动作集合获取方法及装置

    公开(公告)号:CN111782301B

    公开(公告)日:2020-12-22

    申请号:CN202010654636.3

    申请日:2020-07-08

    IPC分类号: G06F9/445 G06N3/04 G06N3/08

    摘要: 本发明提供卸载动作集合获取方法及装置,涉及集合获取领域。方法包括:获取目标应用程序任务;对目标应用程序任务进行训练,生成初始卸载动作集合;基于初始卸载动作集合确定多个新卸载动作集合;对多个新卸载动作集合的集合数量进行更新得到更新之后的多个新卸载动作集合;从对目标应用程序任务进行训练的步骤开始反复执行上述过程直至将满足迭代停止条件时的更新后的多个新卸载动作集合确定为集合数量最少的多个新卸载动作集合;对更新后的多个新卸载动作集合分别进行成本函数计算,获取最低成本函数值对应的卸载动作集合。本发明实施例的卸载动作集合获取方法及装置通过迭代得到最低成本函数值对应的卸载动作集合,达到降低总能耗的技术效果。

    基于多智能体深度强化学习的干扰管理和资源分配方案

    公开(公告)号:CN113115451A

    公开(公告)日:2021-07-13

    申请号:CN202110202985.6

    申请日:2021-02-23

    IPC分类号: H04W72/04 H04W72/08

    摘要: 本发明涉及一种基于多智能体深度强化学习的干扰管理和资源分配方案,包括:最优的智能体CPU周期频率分配方案和一种新型的C‑MADDPG优化算法,最优智能体CPU周期频率分配方案可以根据优化理论生成,新型的C‑MADDPG优化算法,包括每个智能体的CPU周期频率分配方法、卸载决策、发射功率分配和信道选择方法,与现有技术相比,本发明通过提出的CPU周期频率优化方法来选取最优的CPU周期频率;当每个智能体接收到多变的、动态的和复杂的信道状态信息时,每个智能体将输出卸载决策、信道分配和发射功率选择;根据获得的奖励函数,来进行actor‑critic网络参数的调整,将得到的结果对神经网络进行间断性的训练,以使其更加稳定且快速的收敛到最优解。

    一种低轨卫星网络流量优化方法和装置

    公开(公告)号:CN111835407B

    公开(公告)日:2021-05-28

    申请号:CN202010659543.X

    申请日:2020-07-09

    IPC分类号: H04L12/851 H04B7/185

    摘要: 本发明提供了一种低轨卫星网络流量优化方法和装置,涉及卫星通信的技术领域,包括:获取步骤,利用目标低轨卫星的确定性策略网络采集当前环境观察数据,并确定出确定性策略网络的奖励;确定步骤,基于当前环境观察数据,确定目标低轨卫星的执行动作,并获取目标低轨卫星在执行完成执行动作之后采集到的目标环境观察数据;构建步骤,利用当前环境观察数据、执行动作、目标环境观察数据和确定性策略网络的奖励,构建数据库;优化步骤,利用地面站的Q网络调用数据库中的目标数据,以使地面站的Q网络利用目标数据进行训练,并利用完成训练的Q网络生成流量优化策略,解决了现有的低轨卫星网络流量优化方法存在优化能力较弱且适用性较差的技术问题。

    一种低轨卫星网络流量优化方法和装置

    公开(公告)号:CN111835407A

    公开(公告)日:2020-10-27

    申请号:CN202010659543.X

    申请日:2020-07-09

    IPC分类号: H04B7/185 H04L12/851

    摘要: 本发明提供了一种低轨卫星网络流量优化方法和装置,涉及卫星通信的技术领域,包括:获取步骤,利用目标低轨卫星的确定性策略网络采集当前环境观察数据,并确定出确定性策略网络的奖励;确定步骤,基于当前环境观察数据,确定目标低轨卫星的执行动作,并获取目标低轨卫星在执行完成执行动作之后采集到的目标环境观察数据;构建步骤,利用当前环境观察数据、执行动作、目标环境观察数据和确定性策略网络的奖励,构建数据库;优化步骤,利用地面站的Q网络调用数据库中的目标数据,以使地面站的Q网络利用目标数据进行训练,并利用完成训练的Q网络生成流量优化策略,解决了现有的低轨卫星网络流量优化方法存在优化能力较弱且适用性较差的技术问题。