公开(公告)号：CN116665319A

公开(公告)日：2023-08-29

申请号：CN202310944402.6

申请日：2023-07-31

申请人： 华南理工大学

发明人： 康文雄 ,  陈光 ,  连枫钊 ,  黄俊端 ,  杨伟利

IPC分类号： G06V40/70 ,  G06N20/20 ,  G06V10/762 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

摘要： 本发明涉及数据融合处理技术领域，提供了一种基于联邦学习的多模态生物特征识别方法。该方法包括：将初始模型发送至多个参与方，各个参与方利用自身训练数据对初始模型训练后形成本地初始模型；服务器将个各模型的参数进行聚类，抽取每一簇内的多个参与方，参与方利用本地数据训练本地初始模型，将本地初始模型与服务方簇内的模型进行参数汇聚；服务方对同模态模型组按照不同的模态进行融合生成可互补多模态模型组；服务方将可互补多模态模型组的多模态模型互补的发送到参与方，同时将同模态模型发互补的发给参与方；参与方采用多模态模型分数融合的方法，将本地初始模型、同模态模型和多模态模型进行融合形成参与方所需的多模态融合模型。

公开(公告)号：CN116665319B

公开(公告)日：2023-11-24

申请号：CN202310944402.6

申请日：2023-07-31

申请人： 华南理工大学

发明人： 康文雄 ,  陈光 ,  连枫钊 ,  黄俊端 ,  杨伟利

IPC分类号： G06V40/70 ,  G06N20/20 ,  G06V10/762 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

摘要： 本发明涉及数据融合处理技术领域，提供了一种基于联邦学习的多模态生物特征识别方法。该方法包括：将初始模型发送至多个参与方，各个参与方利用自身训练数据对初始模型训练后形成本地初始模型；服务器将个各模型的参数进行聚类，抽取每一簇内的多个参与方，参与方利用本地数据训练本地初始模型，将本地初始模型与服务方簇内的模型进行参数汇聚；服务方对同模态模型组按照不同的模态进行融合生成可互补多模态模型组；服务方将可互补多模态模型组的多模态模型互补的发送到参与方，同时将同模态模型发互补的发给参与方；参与方采用多模态模型分数融合的方法，将本地初始模型、同模态模型和多模态模型进行融合形成参与方所需的多模态融合模型。