一种基于多模态融合的多视频流实时拼接系统及方法

    公开(公告)号:CN118118695A

    公开(公告)日:2024-05-31

    申请号:CN202410218152.2

    申请日:2024-02-28

    申请人: 南京大学

    摘要: 本发明公开一种基于多模态融合的多视频流实时拼接系统及方法,包括:参考帧拼接模块,其包括:邻接图计算模块和基于置信度的拼接模块;邻接图计算模块,用于判断多视频之间的邻接关系,并计算视频流中图像特征的置信度与传感器的置信度;基于置信度的拼接模块,用于将视频帧画面以高置信度优先的方式进行拼接;预测帧拼接模块,其包括:拼接模块和参考帧矫正模块;拼接模块,用于在参考帧的基础上对当前时刻的视频帧拼接结果进行预测;参考帧矫正模块,用于对参考帧的结果进行更新。本发明采用双模态相互检验的方式计算不同视频流不同模态的置信度,基于置信度对视频帧进行拼接,在视觉模态和传感器模态存在一定误差时仍能够保证拼接的准确性。

    基于边缘设备的实时手语识别与翻译系统及方法

    公开(公告)号:CN117218725A

    公开(公告)日:2023-12-12

    申请号:CN202311346663.4

    申请日:2023-10-18

    申请人: 南京大学

    摘要: 本发明公开了一种基于边缘设备的实时手语识别与翻译系统及方法,包括:视频数据采集模块,用于采集手语视频数据;视频预处理模块,包括:视频帧尺寸调整模块、数据归一化模块及视频帧灰度化模块;手语模型模块,用于得到手语模型;结构重参数化模块对手语模型模块得到的手语模型进行优化,得到优化后的手语模型;并保证优化后的模型输出不变。本发明通过提取手语关键局域区域特征与全局帧特征,并将这些特征构建为一个区域感知时空图,利用浅层图卷积网络提取手语特征,并基于所提取的特征训练手语模型,采用结构重参数化技术优化模型,再采用优化后的模型将手语视频识别为单词序列及翻译为自然语言文本。

    边端协同的并发实时流式数据分析任务处理方法及设备

    公开(公告)号:CN113296946B

    公开(公告)日:2023-11-17

    申请号:CN202110563103.9

    申请日:2021-05-24

    申请人: 南京大学

    IPC分类号: G06F9/50 H04L67/10

    摘要: 本发明公开了一种边端协同的并发实时流式数据分析任务处理方法及设备。所述方法包括以下步骤:基于帕累托最优对服务器站点上运行的实时流式数据分析任务的配置进行初步筛选,确定实时流式数据分析任务的可选配置集合;根据实时流式数据分析任务的可选配置集合,基于服务器站点执行任务的总效用值最大化的原则为该站点上执行的所有实时流式数据分析任务选择侧写策略和执行策略;根据确定的侧写策略以及执行策略执行实时流式数据分析任务。该方法通过在服务器站点分配较少资源用于实时流式数据分析任务各个配置的侧写过程,将节省下来的资源用于任务的执行过程,实现在较小的影响当前周期内的执行准确率的情况下,实现长期的准确率方面的优化。

    一种面向边缘计算环境基于多副本的任务调度方法和系统

    公开(公告)号:CN111381950B

    公开(公告)日:2023-07-21

    申请号:CN202010147501.8

    申请日:2020-03-05

    申请人: 南京大学

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本发明公开了一种面向边缘计算环境基于多副本的任务调度方法和系统。所述方法包括:定期测量和收集每个边缘集群内任务的执行状态,建立本集群的任务时间延迟因子分布概率模型,所述模型描述了集群的资源性能;基于最短剩余处理时间原则和公平共享原则预估各作业可执行任务需要的副本数;基于各作业当前进度和集群的资源性能,采用迭代分配方式将各集群的空闲节点,根据预估的副本数,分配给各个任务;将分配到节点的任务调度到相应的集群来执行。利用本发明能够在真实系统中有效利用边缘计算环境中的空闲资源,通过合理的设定任务副本,降低作业的运行时延。

    一种结合多种用户反馈数据的基于相似度的物品推荐方法

    公开(公告)号:CN110119478B

    公开(公告)日:2023-07-21

    申请号:CN201910403221.6

    申请日:2019-05-15

    申请人: 南京大学

    IPC分类号: G06F16/9535 G06F16/2458

    摘要: 本发明公开了一种结合多种用户反馈数据的基于相似度的物品推荐方法。方法包括:对复杂辅助信息中隐含语义信息进行建模,针对不同类型用户反馈类型,采用不同的异步双向游走方式,计算不同类型对象间的相似度,再将这些相似度计算结果以贝叶斯排序优化技术组合,再根据组合后的用户‑物品相似度矩阵向每个用户生成Top‑N推荐结果。本发明提出的随机游走方法能建模出路径内任意节点对最终该路径计算结果的影响,从而能够充分挖掘隐含语义并量化语义得到不同类型对象间的相似度。