基于边缘云协作的复杂性和语义感知视频分析方法及系统

    公开(公告)号:CN119402681A

    公开(公告)日:2025-02-07

    申请号:CN202411495853.7

    申请日:2024-10-25

    Inventor: 刘杰 高冠宇

    Abstract: 本发明公开了一种基于边缘云协作的复杂性和语义感知视频分析方法及系统。该方法优化视频预处理,高效处理连续相似视频帧,并考虑视频语义特征和系统工作负载变化,实现有效的调度策略。该方法通过构建难度估计器和帧间差异检测器,根据视频任务的语义特征预测任务的处理难度和冗余程度,结合当前系统度量(队列长度,带宽)生成一个状态,通过基于PPO算法的决策引擎做出最优决策,选择最优任务分辨率和最后处理节点。推理后,计算出当前任务的处理奖励,DRL模型根据奖励进行更新,不断适应视频内容与系统负载的变化,最大限度地提高整体性能,平衡推理质量、处理速度和资源利用率。

    一种基于边云协同的实时视频分析与处理方法

    公开(公告)号:CN114697324A

    公开(公告)日:2022-07-01

    申请号:CN202210229980.7

    申请日:2022-03-07

    Inventor: 高冠宇 王学智

    Abstract: 本发明公开了一种基于边云协同的实时视频分析与处理方法,该方法首先通过车载设备上的视频采集单元获取视频数据,然后通过决策引擎对视频数据进行分发至边缘服务器或云节点服务器,包括设置预处理模块完成视频数据的格式转化和分辨率转化,在服务器和决策引擎之间建立联系,由决策引擎选择不同的模块进行预处理,处理模块包括边缘处理模块和云处理模块,本发明根据当前视频分析系统的状态实时决定边缘或云服务分发、从而实现实时处理大量的视频帧数据的功能,保证了视频分析的实时性和可用性。

    基于分布式时空连续学习的行人重识别方法

    公开(公告)号:CN115471793A

    公开(公告)日:2022-12-13

    申请号:CN202211265027.4

    申请日:2022-10-17

    Inventor: 张磊 高冠宇

    Abstract: 本发明公开了一种基于分布式时空连续学习的行人重识别方法,该方法在分布式边缘计算网络节点及边缘设备上部署行人重识别模型,实现对行人特征进行连续学习,结合分布式时空特征定向分享模型知识,根据真实的场景持续优化分布式行人重识别模型。本发明根据分布式计算网络中的节点位置和边缘设备部署行人重识别模型,该模型包括特征提取模块和动态学习模块,各个边缘节点上特征提取模块训练、识别方式相同,通过动态学习模块实现不同节点之间模型知识的共享,其中动态学习模块还划分为基本权重、自适应权重以及注意力权重来实现分布式的知识聚合和模型更新。

    一种基于边云协同的实时视频分析与处理方法

    公开(公告)号:CN114697324B

    公开(公告)日:2024-02-20

    申请号:CN202210229980.7

    申请日:2022-03-07

    Inventor: 高冠宇 王学智

    Abstract: 本发明公开了一种基于边云协同的实时视频分析与处理方法,该方法首先通过车载设备上的视频采集单元获取视频数据,然后通过决策引擎对视频数据进行分发至边缘服务器或云节点服务器,包括设置预处理模块完成视频数据的格式转化和分辨率转化,在服务器和决策引擎之间建立联系,由决策引擎选择不同的模块进行预处理,处理模块包括边缘处理模块和云处理模块,本发明根据当前视频分析系统的状态实时决定边缘或云服务分发、从而实现实时处理大量的视频帧数据的功能,保证了视频分析的实时性和可用性。

    基于主动连续学习的边缘视频分析方法

    公开(公告)号:CN115661708A

    公开(公告)日:2023-01-31

    申请号:CN202211300774.7

    申请日:2022-10-24

    Inventor: 张磊 高冠宇

    Abstract: 本发明公开了一种基于主动连续学习的边缘视频分析方法,该方法能够在边缘计算网络节点及边缘设备上部署视频分析模型,根据边缘设备算力自适应调整资源调度,利用主动学习器发现环境中值得学习的数据并过滤冗余和无效数据,实现本地模型主动对真实视频环境进行连续学习。该方法通过构建视频分析模型和视频漂移检测器,将视频流中各视频块内的目标位置和类别分布情况保存,通过判断分布变化率是否超出给定阈值从而进行选择缓存到视频漂移池中,进一步的优化边缘设备的剩余算力,最优化训练数据样本,且拟合最优视频数据形成训练样本,提高视频的分析辨识能力。

    基于QoE和资源消耗感知的码率自适应的实时视频传输方法

    公开(公告)号:CN119342238A

    公开(公告)日:2025-01-21

    申请号:CN202411290017.5

    申请日:2024-09-14

    Inventor: 朱颖倩 高冠宇

    Abstract: 本发明公开了一种基于QoE和资源消耗感知的码率自适应的实时视频传输方法,属于深度强化学习以及流媒体技术领域,该方法用解决直播视频流中用户体验质量与资源消耗之间的平衡问题。传统的自适应直播流媒体方法通过预定义的多比特率编码源视频内容,使用户能够选择最适合的比特率以实现最佳速率自适应,本发明所述的方法采用Dueling DDQN算法,通过分析用户QoE反馈和系统状态下的资源消耗,学习最佳的编码阶梯,从而最大化整体性能。本发明通过使用不同类型的视频内容和真实带宽数据进行对比实验,验证了该方法的有效性,其结果表明,本发明在整体性能上优于其他基线方法。

    基于主动连续学习的边缘视频分析方法

    公开(公告)号:CN115661708B

    公开(公告)日:2023-08-25

    申请号:CN202211300774.7

    申请日:2022-10-24

    Inventor: 张磊 高冠宇

    Abstract: 本发明公开了一种基于主动连续学习的边缘视频分析方法,该方法能够在边缘计算网络节点及边缘设备上部署视频分析模型,根据边缘设备算力自适应调整资源调度,利用主动学习器发现环境中值得学习的数据并过滤冗余和无效数据,实现本地模型主动对真实视频环境进行连续学习。该方法通过构建视频分析模型和视频漂移检测器,将视频流中各视频块内的目标位置和类别分布情况保存,通过判断分布变化率是否超出给定阈值从而进行选择缓存到视频漂移池中,进一步的优化边缘设备的剩余算力,最优化训练数据样本,且拟合最优视频数据形成训练样本,提高视频的分析辨识能力。

    基于多智能体强化学习的分布式边缘协同视频分析方法

    公开(公告)号:CN116723354A

    公开(公告)日:2023-09-08

    申请号:CN202310523421.1

    申请日:2023-05-10

    Inventor: 董煜骐 高冠宇

    Abstract: 本发明公开了一种基于多智能体强化学习的分布式边缘协同视频分析方法,通过边缘节点们相互协作,共同学习视频帧预处理、模型选择和请求调度的最优策略,从而最小化系统的总体成本。本发明将每个边缘节点建模为一个智能体,它是一个自治实体并通过观察其本地状态来做出分布式控制决策。本发明采用了注意力机制来区分从不同边缘节点收集的信息的重要性,通过部署了一个具有多个边缘节点的视频分析测试平台杜对其性能进行验证,并使用真实世界的数据集和实验设置进行了广泛的实验。实验结果表明,与现有的基线方法相比,本发明可以显著提高33.6%‑86.4%的整体奖赏。

Patent Agency Ranking