基于区域感知的视频分级编解码系统及方法

    公开(公告)号:CN119299775A

    公开(公告)日:2025-01-10

    申请号:CN202411246925.4

    申请日:2024-09-06

    Applicant: 南京大学

    Inventor: 谢磊 陈涛 陆桑璐

    Abstract: 本发明公开了一种基于区域感知的视频分级编解码系统及方法,方法包括:区域感知阶段:将获取的监控视频划分视频段,基于视频段处理视频帧,并通过服务器反馈的参考帧处理结果识别后续连续帧的区域信息,按照视频的应用将每个视频段的帧集在空间上划分为多个不同等级的视频子段;编码阶段:使用不同的配置参数将视频子段编码为不同质量的视频子流;解码阶段:将视频子流解码还原为视频子段所对应的帧,合并为视频帧。本发明充分考虑了视频的时间冗余和空间冗余,大幅降低了所传输的视频带宽;此外,所实现的区域感知机制克服了摄像头资源的限制,不仅满足视频应用的实时处理需求,还可以部署在大多数没有GPU资源的摄像头上。

    一种基于多模态融合的多视频流实时拼接系统及方法

    公开(公告)号:CN118118695A

    公开(公告)日:2024-05-31

    申请号:CN202410218152.2

    申请日:2024-02-28

    Applicant: 南京大学

    Abstract: 本发明公开一种基于多模态融合的多视频流实时拼接系统及方法,包括:参考帧拼接模块,其包括:邻接图计算模块和基于置信度的拼接模块;邻接图计算模块,用于判断多视频之间的邻接关系,并计算视频流中图像特征的置信度与传感器的置信度;基于置信度的拼接模块,用于将视频帧画面以高置信度优先的方式进行拼接;预测帧拼接模块,其包括:拼接模块和参考帧矫正模块;拼接模块,用于在参考帧的基础上对当前时刻的视频帧拼接结果进行预测;参考帧矫正模块,用于对参考帧的结果进行更新。本发明采用双模态相互检验的方式计算不同视频流不同模态的置信度,基于置信度对视频帧进行拼接,在视觉模态和传感器模态存在一定误差时仍能够保证拼接的准确性。

    基于强化学习与负反馈控制的多类型计算协同系统及方法

    公开(公告)号:CN117850207A

    公开(公告)日:2024-04-09

    申请号:CN202311552984.X

    申请日:2023-11-21

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于强化学习与负反馈控制的多类型计算协同系统及方法,包括:接口模块,用于获取任务信息;分级协同模块,用于根据初始资源情境得到任务处理策略,根据情境分析报告得到PID超参数及更新任务处理策略;多类型计算模块,用于根据任务信息和传感器数据生成任务数据,根据任务处理策略和更新任务处理策略封装任务并执行任务处理代码,处理任务数据,生成初始资源情境和情境分析报告。本发明使用负反馈分级配置调整实时调整多类型任务的处理策略,可控制数据的量化采样参数、任务处理的资源分配参数和计算参数,适应资源情境和任务情境的动态变化,在保障任务处理时延和任务处理精度的情况下,提高了系统中资源利用率和任务并发量。

    基于边缘设备的实时手语识别与翻译系统及方法

    公开(公告)号:CN117218725A

    公开(公告)日:2023-12-12

    申请号:CN202311346663.4

    申请日:2023-10-18

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于边缘设备的实时手语识别与翻译系统及方法,包括:视频数据采集模块,用于采集手语视频数据;视频预处理模块,包括:视频帧尺寸调整模块、数据归一化模块及视频帧灰度化模块;手语模型模块,用于得到手语模型;结构重参数化模块对手语模型模块得到的手语模型进行优化,得到优化后的手语模型;并保证优化后的模型输出不变。本发明通过提取手语关键局域区域特征与全局帧特征,并将这些特征构建为一个区域感知时空图,利用浅层图卷积网络提取手语特征,并基于所提取的特征训练手语模型,采用结构重参数化技术优化模型,再采用优化后的模型将手语视频识别为单词序列及翻译为自然语言文本。

    一种融合声波和惯性感知的风速测量系统和方法

    公开(公告)号:CN116400100A

    公开(公告)日:2023-07-07

    申请号:CN202310182550.9

    申请日:2023-03-01

    Applicant: 南京大学

    Abstract: 本发明公开了一种融合声波和惯性感知的风速测量系统和方法,方法适用于包含惯性传感器和两组音频收发器件的移动智能终端,包括以下步骤:根据惯性传感器获取终端的初始位姿,并通过音频器件采集风速的第一分量;旋转终端多次,在每次旋转结束时计算终端相较于初始位姿的旋转角度以及风速对应的分量;联立各个分量以及对应的旋转角度计算风速值并确定风向。本发明不需要借助额外的器件,也无需对终端的硬件进行任何修改,便可以对风速进行有效测量。

    一种基于生成对抗网络的多声源分离系统及方法

    公开(公告)号:CN116312609A

    公开(公告)日:2023-06-23

    申请号:CN202310266808.3

    申请日:2023-03-20

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于生成对抗网络的多声源分离系统及方法,包括:声音信号采集处理一体机,用于采集多个声源发出的原始音频数据,并进行处理,判断声源数量;服务器平台,根据声源数量的判断结果决定是否对原始音频数据进行处理;若为单声源,则不处理;若为多声源,则对原始音频数据进行互相关以判断每个声源的位置,再通过自适应波束成形分离多个声源信号,使用生成对抗网络对波束成形后的语音信号进行优化,将生成对抗网络的输出图像数据还原为音频数据;多声源分离客户端,获取服务器平台对多个声源信号进行分离的分离结果。本发明能够有效将多个声源的语音信号分离出来,语音信号经识别后得到较高的语音识别准确率和较低的单词错误率。

    面向多目标视频监控的边缘计算系统及其工作方法

    公开(公告)号:CN114741185A

    公开(公告)日:2022-07-12

    申请号:CN202210306198.0

    申请日:2022-03-25

    Applicant: 南京大学

    Abstract: 本发明公开了一种面向多目标视频监控的边缘计算系统及其工作方法,包括:视频预处理模块,用于接收摄像头实时传输的视频流,根据自适应配置优化模块发送的最优配置参数对视频流中的视频帧进行处理,并将处理后的视频帧传输给视频分析模块;视频分析模块,通过目标检测和目标跟踪算法对处理后的视频帧进行分析,得到目标的位置信息,将所述位置信息传输到前端设备进行显示;自适应配置优化模块,实时获取运行时状态信息和系统状态信息,并根据自适应优化配置算法得到最优配置参数。通过使用目标跟踪的方法构建间隔帧与目标运动速度和精度之间的模型关系,可以有效分摊目标检测的时延,确保实时性。

    一种基于RFID双标签感知的输液滴速监测系统

    公开(公告)号:CN113289141B

    公开(公告)日:2022-06-07

    申请号:CN202110564155.8

    申请日:2021-05-24

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于RFID双标签感知的输液滴速监测系统,包括:无源滴速感知器、滴速感知一体机、服务器平台及滴速感知客户端;无源滴速感知器,与输液器的滴管侧壁接触设置,其包含:两个RFID标签及标签固定支架,该标签固定支架由一个背板及两个平行且对齐放置的夹板构成,所述背板嵌设于两个夹板上,两个夹板之间形成有用于嵌设滴管的容纳空间;所述背板内设有两个用于容纳RFID标签的卡槽,在背板上且与夹板相配合的位置设有一个凹槽,通过该凹槽使得与之相对应的卡槽中的RFID标签外漏于背板,且RFID标签外漏部分紧贴于滴管的表面。本发明通过引入双标签机制,能够在环境中存在复杂多径干扰的情况下,对输液瓶/输液袋的滴速进行鲁棒的监测。

    一种基于超声波的静态障碍物检测系统及方法

    公开(公告)号:CN114114275A

    公开(公告)日:2022-03-01

    申请号:CN202111385102.6

    申请日:2021-11-22

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于超声波的静态障碍物检测系统及方法,包括:静态障碍物检测设备和中心服务器,所述静态障碍物检测设备安装于需要进行静态障碍物检测的场所,用于障碍物检测;所述中心服务器,用于接收、存储及管理静态障碍物检测设备发送的数据,有静态障碍物存在时发出告警通知;本发明采用了差分检测方法和静态障碍物过滤算法,能够有效适应各种环境的变化,对于行人、空气流动、温度和光线变化等环境因素不敏感,误报、漏报率低。

Patent Agency Ranking