-
公开(公告)号：CN110351571B
公开(公告)日：2020-09-25
申请号：CN201910603809.6
申请日：2019-07-05
Applicant: 清华大学
IPC: H04N21/2187 , H04N21/845 , H04N21/2343 , H04N21/443 , G06F9/455 , G06N3/04 , G06N3/08
Abstract: 本发明提出一种基于深度强化学习的直播视频云转码资源分配与调度方法，属于机器学习领域和多媒体内容处理领域。该方法在训练阶段，通过在模拟环境中对转码过程进行仿真，训练一个能够根据转码任务工作负载变化动态调整云计算资源分配的神经网络，并在分配的云计算资源上调度直播视频内容的转码任务；在执行阶段，利用训练好的神经网络，根据系统状态作出资源分配的实时决策并在云平台上调度转码任务。该发明基于深度强化学习方法，能够根据转码任务负载变化动态调整云计算资源规模，节省资源使用开销；基于对转码任务时间上下限的估算方法，能够及时完成转码任务的调度执行，满足服务质量要求。
-
公开(公告)号：CN114885215A
公开(公告)日：2022-08-09
申请号：CN202210470786.8
申请日：2022-04-28
Applicant: 清华大学 , 北京达佳互联信息技术有限公司
IPC: H04N21/462 , H04N21/458 , G06K9/62
Abstract: 本公开关于一种码率自适应模型的训练、视频码率自适应方法及装置。码率自适应模型的训练方法包括：从网络状态池中选择网络状态作为第一训练环境；通过码率自适应模型在第一训练环境中进行码率决策，将得到的码率决策轨迹数据作为第一轨迹；基于第一轨迹对码率自适应模型的参数进行调整，得到码率自适应模型的第一更新模型；从网络状态池中再次选择网络状态作为第二训练环境；通过第一更新模型在第二训练环境中进行码率决策，将得到的码率决策轨迹数据作为第二轨迹；基于第二轨迹对第一更新模型的参数进行调整，得到码率自适应模型的第二更新模型。本公开的码率自适应模型的训练方法可使得码率自适应模型适应各种个性化网络。
-
公开(公告)号：CN113157422A
公开(公告)日：2021-07-23
申请号：CN202110472472.7
申请日：2021-04-29
Applicant: 清华大学
Abstract: 本申请公开了一种基于深度强化学习的云数据中心集群资源调度方法及装置，其中，方法包括：确定云数据中心集群中的当前优化目标；根据调度场景下的调服过程建模，以构建资源调服过程仿真环境；以及根据仿真环境得到的集群状态，并基于预设的深度强化学习的决策模型进行资源调度决策，使得根据当前优化目标对应的奖励函数生成最佳调度决策。本申请实施例可以基于深度强化学习解决资源调度问题，使得调度决策更优，有效提高数据中心的资源利用率，降低运营成本，提高使用体验。
-
Patent Agency Ranking
公开(公告)号：CN114866489B
公开(公告)日：2024-09-20
申请号：CN202210470741.0
申请日：2022-04-28
Applicant: 清华大学 , 北京达佳互联信息技术有限公司
IPC: H04L47/27 , H04L47/22 , H04L47/283 , H04L47/36
Abstract: 本公开关于一种拥塞控制方法和装置及拥塞控制模型的训练方法和装置，拥塞控制方法包括：在每个设定周期的起始时刻，将目标传输网络的拥塞窗口的尺寸缩小至目标尺寸，并经拥塞窗口发出目标数据包；确定目标数据包的往返时延，作为目标传输网络在相应设定周期的最小往返时延；在每个设定周期内，每隔设定时长，获取目标传输网络的网络状态信息，并将最小往返时延和网络状态信息输入拥塞控制模型，得到调整参数；其中，调整参数用于调整目标传输网络的拥塞窗口的尺寸。
-
公开(公告)号：CN114885215B
公开(公告)日：2023-07-25
申请号：CN202210470786.8
申请日：2022-04-28
Applicant: 清华大学 , 北京达佳互联信息技术有限公司
IPC: H04N21/462 , H04N21/458 , G06F18/214 , G06N3/04 , G06N3/048 , G06N3/092
Abstract: 本公开关于一种码率自适应模型的训练、视频码率自适应方法及装置。码率自适应模型的训练方法包括：从网络状态池中选择网络状态作为第一训练环境；通过码率自适应模型在第一训练环境中进行码率决策，将得到的码率决策轨迹数据作为第一轨迹；基于第一轨迹对码率自适应模型的参数进行调整，得到码率自适应模型的第一更新模型；从网络状态池中再次选择网络状态作为第二训练环境；通过第一更新模型在第二训练环境中进行码率决策，将得到的码率决策轨迹数据作为第二轨迹；基于第二轨迹对第一更新模型的参数进行调整，得到码率自适应模型的第二更新模型。本公开的码率自适应模型的训练方法可使得码率自适应模型适应各种个性化网络。
-
公开(公告)号：CN114866489A
公开(公告)日：2022-08-05
申请号：CN202210470741.0
申请日：2022-04-28
Applicant: 清华大学 , 北京达佳互联信息技术有限公司
IPC: H04L47/27 , H04L47/22 , H04L47/283 , H04L47/36
Abstract: 本公开关于一种拥塞控制方法和装置及拥塞控制模型的训练方法和装置，拥塞控制方法包括：在每个设定周期的起始时刻，将目标传输网络的拥塞窗口的尺寸缩小至目标尺寸，并经拥塞窗口发出目标数据包；确定目标数据包的往返时延，作为目标传输网络在相应设定周期的最小往返时延；在每个设定周期内，每隔设定时长，获取目标传输网络的网络状态信息，并将最小往返时延和网络状态信息输入拥塞控制模型，得到调整参数；其中，调整参数用于调整目标传输网络的拥塞窗口的尺寸。
-
公开(公告)号：CN113064671A
公开(公告)日：2021-07-02
申请号：CN202110462090.6
申请日：2021-04-27
Applicant: 清华大学
Abstract: 本申请公开了一种基于多智能体强化学习的边缘云可扩展任务卸载方法，包括以下步骤：初始化每个Agent的网络结构，每个Agent根据自己观测的状态与移动边缘网络环境进行交互，将输入状态与输出行为保存至经验回放池；每个智能体对经验回放池中的数据进行采样，训练自己的actor和critic网络并优化参数；在模型收敛至满足迭代条件时生成卸载策略，并根据卸载策略进行卸载决策。本申请实施例为基于多智能体强化学习的移动边缘计算卸载方法，不但更符合真实的应用场景，更考虑了当有新的用户设备加入时系统的进一步调整和训练，避免了新智能体从零开始训练，保证了任务卸载策略的可扩展性。
-
公开(公告)号：CN110351571A
公开(公告)日：2019-10-18
申请号：CN201910603809.6
申请日：2019-07-05
Applicant: 清华大学
IPC: H04N21/2187 , H04N21/845 , H04N21/2343 , H04N21/443 , G06F9/455 , G06N3/04 , G06N3/08
Abstract: 本发明提出一种基于深度强化学习的直播视频云转码资源分配与调度方法，属于机器学习领域和多媒体内容处理领域。该方法在训练阶段，通过在模拟环境中对转码过程进行仿真，训练一个能够根据转码任务工作负载变化动态调整云计算资源分配的神经网络，并在分配的云计算资源上调度直播视频内容的转码任务；在执行阶段，利用训练好的神经网络，根据系统状态作出资源分配的实时决策并在云平台上调度转码任务。该发明基于深度强化学习方法，能够根据转码任务负载变化动态调整云计算资源规模，节省资源使用开销；基于对转码任务时间上下限的估算方法，能够及时完成转码任务的调度执行，满足服务质量要求。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.022 seconds)
