公开(公告)号：CN119441973A

公开(公告)日：2025-02-14

申请号：CN202411463222.7

申请日：2024-10-18

Applicant: 南京大学

Inventor： 王文凯 ,  陈颖 ,  季纯羽

IPC: G06F18/241 ,  A61B5/00 ,  G06V40/10 ,  G06V40/70 ,  G06N3/04 ,  G06N3/084 ,  G06F18/214

Abstract: 本发明提出了一种基于rPPG原理的多模态数据情绪识别深度学习网络。通过多模态数据与辅助任务的引入，从生理意义实现端到端的情绪识别。网络尝试基于视频和心率信号，通过观察人脸血流局部动作，而非挤眉弄眼等宏观的肌肉表情动作，从生理角度得到情绪和生理标签。通过深度学习网络捕捉视频中包含生理信息的血流动作特征，基于心率信号编码为其提供时间注意力，引导网络学习人脸视频中包含生理意义的关键特征表示。同时引入了心率自相似性特征提取作为辅助任务以提升网络性能。

公开(公告)号：CN117150259A

公开(公告)日：2023-12-01

申请号：CN202210541239.4

申请日：2022-05-18

Applicant: 南京大学

Inventor： 孙维宇 ,  陈颖 ,  葛云 ,  季纯羽

IPC: G06F18/213 ,  A61B5/00 ,  A61B5/024 ,  G06F18/214 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出了一种全新的基于视频的远程心率测量神经网络以及其预处理方法。该方法通过关注数据集中标签波形和面部rPPG(Remote Photoplethysmography，远程光电体积描记术)信号各自的时序自相似性，而不是其每个时间点的特定状态来解决标签波形和面部rPPG信号之间不确定时延的问题，从而大大节省了训练者的数据集筛选和波形配准时间，提升了训练效率。对于标签波形，我们分析其瞬时相位变化得到其相位的周期重复特性；对于面部rPPG信号，我们使用神经网络线提取时序的rPPG信息，随后使用特殊的自注意力模块提取rPPG信息的周期重复信息。最后我们结合两者的自相似信息设计损失函数优化网络参数，并从中提取心率的频率。经过测试，该网络在提升网络训练效率的同时，仍然能够保证训练结果的心率预测准确性和抗干扰性。

公开(公告)号：CN117011572A

公开(公告)日：2023-11-07

申请号：CN202211219456.8

申请日：2022-09-30

Applicant: 南京大学

Inventor： 季纯羽 ,  陈颖 ,  王淇元 ,  仓锡惠

IPC: G06V10/764 ,  G06V10/26 ,  G06V10/774 ,  G06T7/00 ,  G06T7/11 ,  G06V10/82

Abstract: 本发明提出了一种基于神经网络的利用腹部CT图像自动分类原发性肝癌的方法。该方法采用半自动Snake方法来实现CT图像肝部分割，引入孪生交叉对比神经网络SCCNN对肝部CT图像进行学习，充分利用孪生对比结构的特点，根据两路输入的肝部CT数据的异同程度来实现原发性肝癌的分类。本发明旨在解决医学小规模数据集会严重影响原发性肝癌分类准确性的问题。经过验证，相比于其他肝癌分类方法，该算法明显提高了原发性肝癌判断的准确率。在实践方面，该方法可以提高辨识的客观性和准确性，减轻医护人员的工作量，同时无侵入的诊断方法比传统的侵入式诊断体验更好，在医学诊断方面有很强的实用性。