公开(公告)号：CN117422100A

公开(公告)日：2024-01-19

申请号：CN202311344966.2

申请日：2023-10-17

Applicant: 南京大学

Inventor： 陈子涵 ,  陈颖 ,  张新宇

IPC: G06N3/042 ,  A61B5/024 ,  G06N3/045 ,  G06N3/084 ,  G06N3/096 ,  G06N3/088 ,  G06V40/16 ,  G06V10/30 ,  G06V10/82

Abstract: 本发明提出了一种全新的基于注意力和时间相似金字塔(ATP)的无监督远程生理信号(rPPG)测量自蒸馏框架。该框架通过利用多尺度时间自相似表示，以心脏活动的内在自相似性作为先验知识，从而以非侵入式的方式捕捉由心脏活动引起的血容量变化引起的面部像素的细微变化。本框架以无监督学习的方式，克服了传统监督学习中监督信号与rPPG信号的域偏移问题，在不需要标签的情况下，学习与生理学性质一致，但在标签中没有明确存在的特征。此外，该框架引入局部‑全局增强和掩蔽差分建模来生成不同的输入视图，并实现了前后可分离的结构以提高效率。综合实验表明，与最先进的监督方法相比，该无监督ATP框架在保持端到端模型中最低的推理时间和计算成本的同时，取得了相当甚至更好的性能。

公开(公告)号：CN115497143A

公开(公告)日：2022-12-20

申请号：CN202211237380.1

申请日：2022-10-10

Applicant: 南京大学

Inventor： 张新宇 ,  孙维宇 ,  陈颖

IPC: G06V40/16 ,  G06V40/70 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08 ,  A61B5/024 ,  A61B5/16

Abstract: 本发明提出了一种基于自监督和终身学习的非接触式多模态生理信号检测方法。该方法使用基于知识蒸馏的自监督学习策略，充分利用了信号的自相似性先验，在完全不使用监督标签的情况下与同时期的监督模型相比鲁棒性更强，解决了监督标签带来的波形形状、不确定性时延的影响以及标注成本高导致训练数据集规模小的问题。通过下游任务的微调，能够实现心率、心率变异性，疲劳度等高置信度多模态生理信号输出。本发明提出的方法通过使用PC(Personal Computer，个人计算机)端基于自监督预训练与边缘计算平台基于终身学习微调相结合的分布式策略，充分均衡了边缘计算平台的算力，将用户在线输入的数据视为第二任务，基于终身学习算法提高模型在预训练离线大数据集和用户在线输入小数据集上的多任务性能。通过无标签终身学习微调能够让模型快速适应不同用户输入，针对不同环境提高模型的抗噪性能，实现了对不同用户非接触式多模态生理信号检测精度的进一步提升。