-
公开(公告)号:CN119577568A
公开(公告)日:2025-03-07
申请号:CN202311113314.8
申请日:2023-08-30
Applicant: 复旦大学
IPC: G06F18/2415 , G06F18/2431 , G06F16/35 , G06F16/334 , G06F16/3329 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种适用于不确定模态缺失的多模态情感识别系统,包括多模态信息感知单元、异构模态缺失样本生成单元、多粒度跨模态交互单元、特征语义一致性约束单元、自适应特征增强单元、选择性特征过滤单元、特征集成单元、情感识别单元以及情感显示单元。与现有技术相比,本发明通能够深入挖掘缺失模态中元素之间的自然相关性,最大限度地激发缺失模态潜在的能力,从而有效提升缺失模态场景下多模态情感识别方法的鲁棒性。
-
公开(公告)号:CN119418390A
公开(公告)日:2025-02-11
申请号:CN202411337099.4
申请日:2024-09-25
Applicant: 复旦大学
IPC: G06V40/20 , G06V20/40 , G06V10/776 , G16H30/00 , G16H40/20 , G06Q10/0639 , G06V10/82 , G06N3/0455
Abstract: 本发明涉及一种基于时序动作分割的医疗行为质量评估方法及系统,其中方法包括以下步骤:获取多种视角的拍摄设备采集的整个医疗过程中全部的操作行为视频,并分析视频的维度与帧数;将视频数据输入时序分割模型进行时序动作分割与识别,所述时序分割模型引入了扩散模型,包括特征提取模块、编码器和解码器三个部分,其中,所述特征提取模块提取视频对应的I3D特征,所述编码器将通用的I3D特征编码为更符合任务的特征,所述解码器完成扩散模型的迭代过程,从随机噪声中迭代生成预测动作标签序列;根据时序分割模型给出的动作标签序列和对应医疗行为的标准规范进行得分统计。与现有技术相比,本发明具有时序行为分割准确率高等优点。
-
公开(公告)号:CN115457368A
公开(公告)日:2022-12-09
申请号:CN202211159308.1
申请日:2022-09-22
Applicant: 复旦大学
Abstract: 本发明涉及一种太空目标6D位姿估计系统,包括特征提取单元、因果推理单元,关键点检测单元,位姿估计单元及神经网络量化单元,通过DarkNet‑53模型提取图像特征,并引入特征金字塔网络完成特征增强;因果推理单元基于反事实分析技术获得图像的无偏特征;关键点检测单元基于无偏特征预测出2D关键点坐标和置信度;位姿估计单元基于2D关键点等信息求解出卫星的6D姿态;神经网络量化单元大幅度减少系统能耗的同时可以保留极少的精度损失。与现有技术相比,本系统能够在恶劣的成像条件和复杂的太空背景下精确地完成卫星的6D位姿估计,同时节省资源,拥有更低的时延和相当可观的精度,为卫星在太空中的自动化任务部署和未来的发展提供有力基础保障。
-
公开(公告)号:CN119538168A
公开(公告)日:2025-02-28
申请号:CN202311111253.1
申请日:2023-08-30
Applicant: 复旦大学
IPC: G06F18/25 , G06F18/213 , G06F18/2431 , G06F18/2415 , G06F40/30 , G06N3/0464 , G06N3/047 , G06N3/0499 , G06N3/08
Abstract: 本发明涉及一种基于脑认知启发的多模态人类意图理解系统,包括多模态信息采集单元、互交叉注意力强化单元、自交叉注意力强化单元、源模态更新单元、自适应多模态信息融合单元、连续维度的情感意图理解单元,以及细粒度的行为意图理解单元。与现有技术相比,本发明充分融合来自语言、音频以及视频模态的有效特征语义,利用不同强化和更新单元中的注意力机制实现了高效的多模态建模,进一步完成了多任务模式下的人类情感和行为意图理解,有效的解决了真实应用场景下人类意图理解准确率低,多模态利用率不足以及系统鲁棒性差等问题。
-
公开(公告)号:CN115272977A
公开(公告)日:2022-11-01
申请号:CN202210948571.2
申请日:2022-08-09
Applicant: 复旦大学
Abstract: 本发明涉及一种基于卷积神经网络和迁移学习的心脏病发作检测系统,输入由图像获取装置获取的视觉图像或视频帧,对图片进行统一尺寸、背景去除以及数据增广等预处理,使其构成数量大、精度高的图片数据集,并采用该数据集在卷积神经网络模型上进行训练,训练过程中应用迁移学习的方法提升训练效率以及效果。训练好的模型可以对后续的输入图片进行检测,迅速精准地输出心脏病发作或无异常的标签,并在输出心脏病发作的异常标签时,利用通讯设备向预设的紧急联系人发送预警或呼叫医疗急救电话。与现有技术相比,本发明具有无应用场景限制、快速高效和使用便捷等优点。
-
公开(公告)号:CN113947702B
公开(公告)日:2024-09-27
申请号:CN202111080047.X
申请日:2021-09-15
Applicant: 复旦大学
IPC: G06F18/25 , G06V10/80 , G06V10/764 , G06V10/82 , G06V40/16 , G06V40/10 , G06V40/20 , G10L25/30 , G10L25/63 , G06N3/0464 , G06N3/0455 , G06N3/096 , G06N3/048
Abstract: 本发明涉及一种基于情境感知的多模态情感识别方法和系统,系统包括多模态信息采集单元、基于多模态行为表现的情感处理单元、基于场景上下文的情感分析单元、基于代理人群体交互的情感分析单元、基于代理人和情境交互的情感分析单元、基于自适应规划的特征融合单元、基于离散情感的识别单元、基于连续情感的预测单元以及显示模块,多模态数据一部分来源于面部表情、步态和手势信息;另一部分来自情境中的场景上下文、代理人群体互动上下文以及场景与代理人互动的上下文信息。与现有技术相比,本发明有效的解决了真实场景中情感识别效率低下,现有算法情感识别准确率不达标,识别算法鲁棒性和泛化能力受外界因素干扰的问题。
-
公开(公告)号:CN113989920A
公开(公告)日:2022-01-28
申请号:CN202111193385.4
申请日:2021-10-13
Applicant: 复旦大学
Abstract: 本发明涉及一种基于深度学习的运动员行为质量评估方法,基于的评估系统包括人体跟踪单元、人体姿势估计单元、动作序列特征提取与增强单元,得分预测单元和显示单元;视频输入至人体跟踪单元,对视频的各帧进行目标检测,得到各帧的检测框作为跟踪结果,在显示单元对跟踪结果进行可视化;人体姿势估计单元获取跟踪结果,对各帧中运动员的姿势进行估计,得到关键点信息作为姿势估计结果,在显示单元对姿势估计结果进行可视化;动作序列特征提取与增强单元以视频、跟踪结果和姿势估计结果作为输入,进行特征提取、特征增强和特征融合后得到视频特征;得分预测单元以视频特征为输入,进行全动作流程质量评估和阶段性行为质量评估。
-
公开(公告)号:CN113888698A
公开(公告)日:2022-01-04
申请号:CN202111196268.3
申请日:2021-10-14
Applicant: 复旦大学
Abstract: 本发明涉及一种面向肝切除术的动态三维重建方法及系统,包括:基于术前CT图像得到初始网格数据;使用术中CT获取手术区域的二维投影图像,得到目标网格数据;使用目标网格数据与初始网格数据分别构建曲面模型并进行刚性配准,划定形变区域较大的模型曲面部分为待重构空间;将待重构空间内的初始网格区域进行非刚性变形,重建待重构空间的高分辨率曲面模型;使用生成的待重构空间的高分辨率曲面模型替代术前全肝组织精准三维曲面模型的对应部分。与现有技术相比,本发明解决了现有技术时间复杂度高、算力要求高、不能进行局部区域动态监测的问题,实现了在术中快速重建手术区域肝脏组织曲面,达到手术过程中动态监测和辅助精准切除的目的。
-
公开(公告)号:CN116013118B
公开(公告)日:2025-01-03
申请号:CN202211511923.4
申请日:2022-11-29
Applicant: 复旦大学
IPC: G09B9/00 , G06F18/25 , G06N3/0442 , G06N3/047 , G06N3/08
Abstract: 本发明涉及一种基于增强现实的儿科气管插管培训系统及方法,包括增强现实模块、气管插管实体模型模块、医疗行为识别评估模块及语音交互模块;增强现实模块包括增强现实眼镜,增强现实模块用于为使用者提供增强现实画面及音频;气管插管实体模型模块用于为使用者提供模拟完成气管插管操作的实体模型;医疗行为识别评估模块用于识别使用者执行气管插管过程中的行为并给予实时评估;语音交互模块用于向使用者发出指令或回复,同时模拟临床中执行气管插管操作时发出的声音。本发明融合增强现实、语音交互、深度学习等技术,使得培训方法更加专业、高效。与现有技术相比,本发明具有成本低、节约教学时间、教学效率高等优点。
-
公开(公告)号:CN116013118A
公开(公告)日:2023-04-25
申请号:CN202211511923.4
申请日:2022-11-29
Applicant: 复旦大学
IPC: G09B9/00 , G06F18/25 , G06N3/0442 , G06N3/047 , G06N3/08
Abstract: 本发明涉及一种基于增强现实的儿科气管插管培训系统及方法,包括增强现实模块、气管插管实体模型模块、医疗行为识别评估模块及语音交互模块;增强现实模块包括增强现实眼镜,增强现实模块用于为使用者提供增强现实画面及音频;气管插管实体模型模块用于为使用者提供模拟完成气管插管操作的实体模型;医疗行为识别评估模块用于识别使用者执行气管插管过程中的行为并给予实时评估;语音交互模块用于向使用者发出指令或回复,同时模拟临床中执行气管插管操作时发出的声音。本发明融合增强现实、语音交互、深度学习等技术,使得培训方法更加专业、高效。与现有技术相比,本发明具有成本低、节约教学时间、教学效率高等优点。
-
-
-
-
-
-
-
-
-