公开(公告)号：CN115497143A

公开(公告)日：2022-12-20

申请号：CN202211237380.1

申请日：2022-10-10

Applicant: 南京大学

Inventor： 张新宇 ,  孙维宇 ,  陈颖

IPC: G06V40/16 ,  G06V40/70 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08 ,  A61B5/024 ,  A61B5/16

Abstract: 本发明提出了一种基于自监督和终身学习的非接触式多模态生理信号检测方法。该方法使用基于知识蒸馏的自监督学习策略，充分利用了信号的自相似性先验，在完全不使用监督标签的情况下与同时期的监督模型相比鲁棒性更强，解决了监督标签带来的波形形状、不确定性时延的影响以及标注成本高导致训练数据集规模小的问题。通过下游任务的微调，能够实现心率、心率变异性，疲劳度等高置信度多模态生理信号输出。本发明提出的方法通过使用PC(Personal Computer，个人计算机)端基于自监督预训练与边缘计算平台基于终身学习微调相结合的分布式策略，充分均衡了边缘计算平台的算力，将用户在线输入的数据视为第二任务，基于终身学习算法提高模型在预训练离线大数据集和用户在线输入小数据集上的多任务性能。通过无标签终身学习微调能够让模型快速适应不同用户输入，针对不同环境提高模型的抗噪性能，实现了对不同用户非接触式多模态生理信号检测精度的进一步提升。

公开(公告)号：CN117150259A

公开(公告)日：2023-12-01

申请号：CN202210541239.4

申请日：2022-05-18

Applicant: 南京大学

Inventor： 孙维宇 ,  陈颖 ,  葛云 ,  季纯羽

IPC: G06F18/213 ,  A61B5/00 ,  A61B5/024 ,  G06F18/214 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出了一种全新的基于视频的远程心率测量神经网络以及其预处理方法。该方法通过关注数据集中标签波形和面部rPPG(Remote Photoplethysmography，远程光电体积描记术)信号各自的时序自相似性，而不是其每个时间点的特定状态来解决标签波形和面部rPPG信号之间不确定时延的问题，从而大大节省了训练者的数据集筛选和波形配准时间，提升了训练效率。对于标签波形，我们分析其瞬时相位变化得到其相位的周期重复特性；对于面部rPPG信号，我们使用神经网络线提取时序的rPPG信息，随后使用特殊的自注意力模块提取rPPG信息的周期重复信息。最后我们结合两者的自相似信息设计损失函数优化网络参数，并从中提取心率的频率。经过测试，该网络在提升网络训练效率的同时，仍然能够保证训练结果的心率预测准确性和抗干扰性。

公开(公告)号：CN114723981A

公开(公告)日：2022-07-08

申请号：CN202011513299.2

申请日：2020-12-18

Applicant: 南京大学

Inventor： 孙维宇 ,  王琪元 ,  陈颖

IPC: G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种全新的孪生交叉对比神经网络模型。该模型充分利用了孪生网络两路数据流并进的特点，根据两路输出的数据特征组的异同程度制作损失函数。同时提出了一种能够衡量、量化两个系统的相似程度的方法——DisIBS方法，这个方法相比传统的IBS方法对神经网络的适应性更强并且具有一定的物理意义。另外，该网络在训练的输入部分使用特殊的伪随机数据分类模式，减少了训练者在训练网络时筛选输入数据标签时的工作量。经过测试，该网络在图像分类方面有非常强的准确度与适用性。