公开(公告)号：CN113993168B

公开(公告)日：2024-02-09

申请号：CN202111255936.5

申请日：2021-10-27

Applicant: 东南大学

Inventor： 蒋雁翔 ,  常琦

IPC: H04W28/14 ,  H04L67/568 ,  H04L67/5682 ,  G06N3/006 ,  G06N20/00

Abstract: 本发明公开了一种雾无线接入网中基于多智能体强化学习的协作缓存方法，包括：根据缓存节点的区域文件流行度，初始化各节点的缓存状态向量、动作向量、历史缓存记录向量以及深度强化学习参数；根据用户请求文件，每个节点的学习模型做出缓存决策；每个节点根据缓存决策更新其历史缓存记录，并与邻近的节点进行通信；缓存节点根据当前的缓存状态和邻近节点状态，选择传输路径应答用户请求，并且计算用户需求的传输时延；根据传输延迟，缓存节点计算全局的价值函数，对自身学习和邻近节点的学习模型参数进行更新；在遍历所有缓存节点后，一个训练周期结束。本发明加强缓存节点之间的交互，进一步的降低用户需求时延。

公开(公告)号：CN116723547A

公开(公告)日：2023-09-08

申请号：CN202310750456.9

申请日：2023-06-25

Applicant: 东南大学

Inventor： 蒋雁翔 ,  王宇 ,  常琦

IPC: H04W28/08 ,  H04W28/02 ,  G06N20/20

Abstract: 本发明公开了一种雾无线接入网中基于本地化联邦强化学习的协作缓存方法，包括：1、根据全局内容流行度来初始化雾无线接入网中点F‑AP的本地缓存内容和本地训练周期步长，联邦训练周期，联邦学习聚合参数，各F‑AP初始化模型参数，其中模型采用DDPG，联邦学习框架采用本地化联邦学习；2、云服务器下发全局模型的网络参数；3、各F‑AP受到内容请求，并向DDPG输入系统缓存状态，执行缓存决策4、计算缓存命中率和用户的内容请求延迟；5、各F‑AP计算内容延迟期望，获取奖励值。6、各F‑AP训练本地DDPG模型参数，同时训练本地化模型参数。7、各F‑AP完成本地训练周期上传模型参数至云服务器进行参数聚合。

公开(公告)号：CN114916015A

公开(公告)日：2022-08-16

申请号：CN202210519737.9

申请日：2022-05-12

Applicant: 东南大学

Inventor： 张敏 ,  陶云蔚 ,  张玲玲 ,  常琦 ,  鹿奕 ,  蒋雁翔

IPC: H04W28/14 ,  H04L67/1023 ,  G06N20/20

Abstract: 本发明公开了一种雾无线接入网中基于量化的联邦强化学习的协作缓存方法，包括：1、根据全局内容流行度来初始化缓存节点的本地缓存内容，初始化缓存节点的本地模型权重参数，单个周期内的本地模型迭代次数和总的模型训练周期；2、每一个缓存节点根据接收到的用户请求信息进行内容缓存决策和本地模型训练；3、计算缓存命中率和用户请求延迟；4、一个训练周期结束时，对每一个缓存节点的本地模型进行网络剪枝；5、对本地模型更新量进行量化压缩和权值共享处理；6、将本地模型更新量上传到云中心进行全局模型聚合得到全局模型，再将全局模型分发给每一个缓存节点，进入下一个训练周期。本发明提高缓存命中率，降低网络负载压力。

公开(公告)号：CN114916015B

公开(公告)日：2024-12-27

申请号：CN202210519737.9

申请日：2022-05-12

Applicant: 东南大学

Inventor： 张敏 ,  陶云蔚 ,  张玲玲 ,  常琦 ,  鹿奕 ,  蒋雁翔

IPC: H04W28/14 ,  H04L67/1023 ,  G06N20/20

Abstract: 本发明公开了一种雾无线接入网中基于量化的联邦强化学习的协作缓存方法，包括：1、根据全局内容流行度来初始化缓存节点的本地缓存内容，初始化缓存节点的本地模型权重参数，单个周期内的本地模型迭代次数和总的模型训练周期；2、每一个缓存节点根据接收到的用户请求信息进行内容缓存决策和本地模型训练；3、计算缓存命中率和用户请求延迟；4、一个训练周期结束时，对每一个缓存节点的本地模型进行网络剪枝；5、对本地模型更新量进行量化压缩和权值共享处理；6、将本地模型更新量上传到云中心进行全局模型聚合得到全局模型，再将全局模型分发给每一个缓存节点，进入下一个训练周期。本发明提高缓存命中率，降低网络负载压力。

公开(公告)号：CN113993168A

公开(公告)日：2022-01-28

申请号：CN202111255936.5

申请日：2021-10-27

Applicant: 东南大学

Inventor： 蒋雁翔 ,  常琦

IPC: H04W28/14 ,  H04L67/568 ,  H04L67/5682 ,  G06N3/00 ,  G06N20/00

Abstract: 本发明公开了一种雾无线接入网中基于多智能体强化学习的协作缓存方法，包括：根据缓存节点的区域文件流行度，初始化各节点的缓存状态向量、动作向量、历史缓存记录向量以及深度强化学习参数；根据用户请求文件，每个节点的学习模型做出缓存决策；每个节点根据缓存决策更新其历史缓存记录，并与邻近的节点进行通信；缓存节点根据当前的缓存状态和邻近节点状态，选择传输路径应答用户请求，并且计算用户需求的传输时延；根据传输延迟，缓存节点计算全局的价值函数，对自身学习和邻近节点的学习模型参数进行更新；在遍历所有缓存节点后，一个训练周期结束。本发明加强缓存节点之间的交互，进一步的降低用户需求时延。