基于协作Q学习的分布式卫星网络智能负载均衡方法

    公开(公告)号:CN115473561A

    公开(公告)日:2022-12-13

    申请号:CN202110654258.3

    申请日:2021-06-11

    IPC分类号: H04B7/185 H04W28/08

    摘要: 本发明公开一种基于协作Q学习的分布式卫星网络智能负载均衡方法,包括:所述方法将Co l l aQ强化学习算法应用于卫星通信,其数据传输过程为:1).地面将数据包发送到卫星,接收卫星将数据包缓存在队列中;2).卫星根据所提出的算法将数据包发送到相邻卫星;3).目的卫星将信息发送回地面上的目的地。每个轨道上分布的卫星数相等,将轨道数定义为m,每个轨道中的卫星数为n。相邻轨道之间的经度差为360°/m,同一轨道中相邻卫星之间的经度差为180°/n。在本发明中Co l l aQ算法在处理环境中复杂的Agent拓扑时具有良好的收敛性,并且可以很好地应对系统规模的变化。Col laQ的性能要优于DDPG,并且网络中的最大链路利用率相对较小,这意味着它可以更有效地实现负载平衡。

    空天信息网络中基于双拍卖博弈的资源分配方法

    公开(公告)号:CN114269019A

    公开(公告)日:2022-04-01

    申请号:CN202111558461.7

    申请日:2021-12-20

    IPC分类号: H04W72/04 H04W84/06

    摘要: 本发明公开一种空天信息网络中基于双拍卖博弈的资源分配方法,其特征在于,包括设计了一个基于高空平台(High Altitude Platform,HAP)的低轨卫星系统和一种基于双拍卖博弈的EWA算法机制,其中低轨卫星系统可以直接访问相邻高空平台的计算资源,计算资源是由低轨卫星从高空平台那里购买的,由此建立了一个资源交易市场,而基于EWA算法,买卖双方能够通过与环境互动来动态调整其出价和要价策略。本发明引入了高空平台来卸载低轨卫星的计算任务,以减少传输延迟。基于双拍卖机制计算了近轨道卫星与高空平台之间的资源分配问题。然后,设计了一种基于经验权重吸引(EWA)的纳什均衡搜索算法,该算法结合了强化学习和信念学习的优势,在每个参与者上执行。