基于区域感知的视频分级编解码系统及方法

    公开(公告)号:CN119299775A

    公开(公告)日:2025-01-10

    申请号:CN202411246925.4

    申请日:2024-09-06

    Applicant: 南京大学

    Inventor: 谢磊 陈涛 陆桑璐

    Abstract: 本发明公开了一种基于区域感知的视频分级编解码系统及方法,方法包括:区域感知阶段:将获取的监控视频划分视频段,基于视频段处理视频帧,并通过服务器反馈的参考帧处理结果识别后续连续帧的区域信息,按照视频的应用将每个视频段的帧集在空间上划分为多个不同等级的视频子段;编码阶段:使用不同的配置参数将视频子段编码为不同质量的视频子流;解码阶段:将视频子流解码还原为视频子段所对应的帧,合并为视频帧。本发明充分考虑了视频的时间冗余和空间冗余,大幅降低了所传输的视频带宽;此外,所实现的区域感知机制克服了摄像头资源的限制,不仅满足视频应用的实时处理需求,还可以部署在大多数没有GPU资源的摄像头上。

    一种基于多模态融合的多视频流实时拼接系统及方法

    公开(公告)号:CN118118695A

    公开(公告)日:2024-05-31

    申请号:CN202410218152.2

    申请日:2024-02-28

    Applicant: 南京大学

    Abstract: 本发明公开一种基于多模态融合的多视频流实时拼接系统及方法,包括:参考帧拼接模块,其包括:邻接图计算模块和基于置信度的拼接模块;邻接图计算模块,用于判断多视频之间的邻接关系,并计算视频流中图像特征的置信度与传感器的置信度;基于置信度的拼接模块,用于将视频帧画面以高置信度优先的方式进行拼接;预测帧拼接模块,其包括:拼接模块和参考帧矫正模块;拼接模块,用于在参考帧的基础上对当前时刻的视频帧拼接结果进行预测;参考帧矫正模块,用于对参考帧的结果进行更新。本发明采用双模态相互检验的方式计算不同视频流不同模态的置信度,基于置信度对视频帧进行拼接,在视觉模态和传感器模态存在一定误差时仍能够保证拼接的准确性。

    基于边缘设备的实时手语识别与翻译系统及方法

    公开(公告)号:CN117218725A

    公开(公告)日:2023-12-12

    申请号:CN202311346663.4

    申请日:2023-10-18

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于边缘设备的实时手语识别与翻译系统及方法,包括:视频数据采集模块,用于采集手语视频数据;视频预处理模块,包括:视频帧尺寸调整模块、数据归一化模块及视频帧灰度化模块;手语模型模块,用于得到手语模型;结构重参数化模块对手语模型模块得到的手语模型进行优化,得到优化后的手语模型;并保证优化后的模型输出不变。本发明通过提取手语关键局域区域特征与全局帧特征,并将这些特征构建为一个区域感知时空图,利用浅层图卷积网络提取手语特征,并基于所提取的特征训练手语模型,采用结构重参数化技术优化模型,再采用优化后的模型将手语视频识别为单词序列及翻译为自然语言文本。

    边端协同的并发实时流式数据分析任务处理方法及设备

    公开(公告)号:CN113296946B

    公开(公告)日:2023-11-17

    申请号:CN202110563103.9

    申请日:2021-05-24

    Applicant: 南京大学

    Abstract: 本发明公开了一种边端协同的并发实时流式数据分析任务处理方法及设备。所述方法包括以下步骤:基于帕累托最优对服务器站点上运行的实时流式数据分析任务的配置进行初步筛选,确定实时流式数据分析任务的可选配置集合;根据实时流式数据分析任务的可选配置集合,基于服务器站点执行任务的总效用值最大化的原则为该站点上执行的所有实时流式数据分析任务选择侧写策略和执行策略;根据确定的侧写策略以及执行策略执行实时流式数据分析任务。该方法通过在服务器站点分配较少资源用于实时流式数据分析任务各个配置的侧写过程,将节省下来的资源用于任务的执行过程,实现在较小的影响当前周期内的执行准确率的情况下,实现长期的准确率方面的优化。

    一种面向边缘计算环境基于多副本的任务调度方法和系统

    公开(公告)号:CN111381950B

    公开(公告)日:2023-07-21

    申请号:CN202010147501.8

    申请日:2020-03-05

    Applicant: 南京大学

    Abstract: 本发明公开了一种面向边缘计算环境基于多副本的任务调度方法和系统。所述方法包括:定期测量和收集每个边缘集群内任务的执行状态,建立本集群的任务时间延迟因子分布概率模型,所述模型描述了集群的资源性能;基于最短剩余处理时间原则和公平共享原则预估各作业可执行任务需要的副本数;基于各作业当前进度和集群的资源性能,采用迭代分配方式将各集群的空闲节点,根据预估的副本数,分配给各个任务;将分配到节点的任务调度到相应的集群来执行。利用本发明能够在真实系统中有效利用边缘计算环境中的空闲资源,通过合理的设定任务副本,降低作业的运行时延。

Patent Agency Ranking