公开(公告)号：CN115408072A

公开(公告)日：2022-11-29

申请号：CN202210554362.X

申请日：2022-05-20

申请人： 北京航空航天大学杭州创新研究院 ,  郑州大学产业技术研究院有限公司

发明人： 任涛 ,  姚依明 ,  牛建伟 ,  孙钢灿 ,  谷宁波 ,  何航 ,  邱源

IPC分类号： G06F9/445 ,  G06N3/04 ,  G06N3/08

摘要： 本申请提供一种应用于模型训练设备的基于深度强化学习的快速适应模型构建方法及相关装置，用于训练出能够适应不同边缘计算场景的元模型。该方法中，模型训练设备配置有主模型以及与主模型具有相同结构的多个辅助模型，而多个辅助模型分别用于适应不同类型的移动边缘计算场景。该模型训练设备从多个辅助模型中选取一个作为目标模型；将当前的主模型同步至目标模型；获取目标模型训练期间产生多个模型损失；根据多个模型损失，更新主模型。重复以上步骤，直到当前的主模型满足预设收敛条件，则将当前的主模型作为不同类型的移动边缘计算场景的元模型；如此，使得训练出的元模型具有泛化性和对新环境的适应性。

公开(公告)号：CN113762512A

公开(公告)日：2021-12-07

申请号：CN202111323472.7

申请日：2021-11-10

申请人： 北京航空航天大学杭州创新研究院

发明人： 任涛 ,  何航 ,  谷宁波 ,  牛建伟 ,  戴彬 ,  邱源 ,  胡哲源 ,  胡舒程 ,  姚依明 ,  李青锋

IPC分类号： G06N3/08 ,  G06N3/04 ,  G06F9/50

摘要： 本申请提供分布式模型训练方法、系统及相关装置中，该系统部署包括管理设备以及多个终端设备且部署有DDPG模型；DDPG模型包括Critic网络以及Actor网络，Actor网络包括第一在线网络以及第二在线网络，每个终端设备部署有第一在线网络，管理设备部署有Critic网络以及第二在线网络；而用于训练第二在线网络的策略样本采集自经验池，由各终端设备通过自身部署的第一在线网络生成，因此，策略样本的状态空间仅涉及单个终端设备，因此，该方法不仅能够避免采集全局状态所需要的耗时，而且还能降低状态空间的维度。

公开(公告)号：CN113762512B

公开(公告)日：2022-03-18

申请号：CN202111323472.7

申请日：2021-11-10

申请人： 北京航空航天大学杭州创新研究院

发明人： 任涛 ,  何航 ,  谷宁波 ,  牛建伟 ,  戴彬 ,  邱源 ,  胡哲源 ,  胡舒程 ,  姚依明 ,  李青锋

IPC分类号： G06N3/08 ,  G06N3/04 ,  G06F9/50

摘要： 本申请提供分布式模型训练方法、系统及相关装置中，该系统部署包括管理设备以及多个终端设备且部署有DDPG模型；DDPG模型包括Critic网络以及Actor网络，Actor网络包括第一在线网络以及第二在线网络，每个终端设备部署有第一在线网络，管理设备部署有Critic网络以及第二在线网络；而用于训练第二在线网络的策略样本采集自经验池，由各终端设备通过自身部署的第一在线网络生成，因此，策略样本的状态空间仅涉及单个终端设备，因此，该方法不仅能够避免采集全局状态所需要的耗时，而且还能降低状态空间的维度。

公开(公告)号：CN113760514B

公开(公告)日：2022-03-22

申请号：CN202111323484.X

申请日：2021-11-10

申请人： 北京航空航天大学杭州创新研究院

发明人： 任涛 ,  何航 ,  李青锋 ,  牛建伟 ,  戴彬 ,  邱源 ,  胡哲源 ,  胡舒程 ,  姚依明 ,  谷宁波

IPC分类号： G06F9/48 ,  G06F9/50 ,  G06F30/27 ,  G06F111/04

摘要： 本申请提供一种物联网任务调度方法及装置和可读存储介质，涉及物联网应用技术领域。本申请在每个工业物联网设备得到当前时间片的待计算任务时，会根据该工业物联网设备的位置信息以及工业物联网系统当前的信道增益全局向量，针对该待计算任务生成任务计算参数，而后调用本地存储的任务调度网络模型以最大化与该工业物联网设备的运行成本反相关的长期决策奖励为优化目的，基于该待计算任务的任务计算参数生成调度决策参数，并按照调度决策参数配合边缘服务器对待计算任务进行计算，从而在各工业物联网设备处针对自身的待计算任务进行本地式卸载调度，降低工业物联网规模对任务卸载调度过程的影响，并同步地降低任务调度决策的求解复杂度。

公开(公告)号：CN113760514A

公开(公告)日：2021-12-07

申请号：CN202111323484.X

申请日：2021-11-10

申请人： 北京航空航天大学杭州创新研究院

发明人： 任涛 ,  何航 ,  李青锋 ,  牛建伟 ,  戴彬 ,  邱源 ,  胡哲源 ,  胡舒程 ,  姚依明 ,  谷宁波

IPC分类号： G06F9/48 ,  G06F9/50 ,  G06F30/27 ,  G06F111/04

摘要： 本申请提供一种物联网任务调度方法及装置和可读存储介质，涉及物联网应用技术领域。本申请在每个工业物联网设备得到当前时间片的待计算任务时，会根据该工业物联网设备的位置信息以及工业物联网系统当前的信道增益全局向量，针对该待计算任务生成任务计算参数，而后调用本地存储的任务调度网络模型以最大化与该工业物联网设备的运行成本反相关的长期决策奖励为优化目的，基于该待计算任务的任务计算参数生成调度决策参数，并按照调度决策参数配合边缘服务器对待计算任务进行计算，从而在各工业物联网设备处针对自身的待计算任务进行本地式卸载调度，降低工业物联网规模对任务卸载调度过程的影响，并同步地降低任务调度决策的求解复杂度。