-
公开(公告)号：CN118133992B
公开(公告)日：2024-08-13
申请号：CN202410571692.9
申请日：2024-05-10
Applicant: 鹏城实验室
IPC: G06N20/00 , G06F18/213 , G06F18/24 , G06F18/214
Abstract: 本申请实施例提供了一种模型训练方法、对象识别方法、电子设备及可读存储介质，属于活动识别技术领域。该模型训练方法包括：获取对象数据和对象数据关联的样本标签；基于特征提取器对对象数据进行特征提取得到活动识别模态特征，活动识别模态特征包括第一模态特征和第二模态特征；基于重建模块对活动识别模态特征进行模态重构得到关系感知重构特征；基于混合分类模块对关系感知重构特征和活动识别模态特征进行分类预测处理，得到预测分类标签；根据重构损失、分类损失和全局训练参数对初始模型进行训练处理，得到训练后的目标模型。本申请实施例能够提高多模态联邦学习的性能和鲁棒性，提高对象识别的准确性。
-
公开(公告)号：CN118133992A
公开(公告)日：2024-06-04
申请号：CN202410571692.9
申请日：2024-05-10
Applicant: 鹏城实验室
IPC: G06N20/00 , G06F18/213 , G06F18/24 , G06F18/214
Abstract: 本申请实施例提供了一种模型训练方法、对象识别方法、电子设备及可读存储介质，属于活动识别技术领域。该模型训练方法包括：获取对象数据和对象数据关联的样本标签；基于特征提取器对对象数据进行特征提取得到活动识别模态特征，活动识别模态特征包括第一模态特征和第二模态特征；基于重建模块对活动识别模态特征进行模态重构得到关系感知重构特征；基于混合分类模块对关系感知重构特征和活动识别模态特征进行分类预测处理，得到预测分类标签；根据重构损失、分类损失和全局训练参数对初始模型进行训练处理，得到训练后的目标模型。本申请实施例能够提高多模态联邦学习的性能和鲁棒性，提高对象识别的准确性。
-
公开(公告)号：CN119377679B
公开(公告)日：2025-04-01
申请号：CN202411943704.2
申请日：2024-12-27
Applicant: 鹏城实验室
IPC: G06F18/214 , G06N20/00
Abstract: 本申请实施例提供一种模型训练方法、装置、存储介质及计算机设备，包括：获取指定设备发送的多模态语言模型中任务视觉适配器及语言模型的聚合参数，依语言模型聚合参数更新本地语言模型，筛选出本地目标任务视觉适配器的目标聚合参数并更新。接着构建任务混合适配器，将目标任务视觉适配器替换，其包含概率预测器、各任务适配器及待训练跨任务适配器。最后通过本地样本数据集对任务混合适配器中的概率预测器、目标任务视觉适配器和语言模型进行训练，以此得到训练后的多模态语言模型。通过训练概率预测器与跨任务适配器来适配不同任务，让多模态模型能学到各任务特有的模式与特征，进而提升模型性能。
-
公开(公告)号：CN118097520B
公开(公告)日：2024-07-23
申请号：CN202410517099.6
申请日：2024-04-28
Applicant: 鹏城实验室
IPC: G06V20/40 , G06V10/40 , G06V10/764 , G06V10/74
Abstract: 本申请实施例提供了一种视觉识别模型测试时自适应方法、装置、设备及介质，属于计算机视觉技术领域。该方法包括：获取目标域不同模态下的多个第一视频片段和多个第二视频片段；通过第一视觉识别模型分别对多个第一视频片段进行视觉识别，得到对应的多个第一识别结果，综合多个第一识别结果建立不同模态下各个类别的伪源特征；通过第二视觉识别模型分别对多个第二视频片段进行视觉识别，得到对应的多个第二识别结果，综合多个第二识别结果建立不同模态下各个类别的目标特征；将目标特征与相同类别下的伪源特征进行特征对齐，并对第二视觉识别模型进行自适应调整，得到自适应调整后的第二视觉识别模型。本申请能够提高视觉识别模型识别的准确率。
-
公开(公告)号：CN117271818B
公开(公告)日：2024-03-01
申请号：CN202311559297.0
申请日：2023-11-22
Applicant: 鹏城实验室
IPC: G06F16/535 , G06F16/583 , G06N5/022 , G06N20/00 , G06N3/0464 , G06N3/08
Abstract: 本申请实施例提供了一种视觉问答方法、系统、电子设备及存储介质，属于计算机视觉技术领域。该方法包括：获取目标图像，以及对应的自然语言问题；基于目标图像和自然语言问题，在预设的知识图谱中进行知识检索，得到候选知识；并基于目标图像和自然语言问题进行关联查询，得到相应的隐式知识，并基于隐式知识得到目标问题；之后，将目标问题对应的文本特征和图像对应的目标图像特征拼接，得到多模态查询信息；再之后，根据多模态查询信息和候选知识进行注意力机制融合处理，得到细粒度信息；最后，将多模态查询信息与细粒度信息进行特征融合，得到目标特征信息，并基于目标特征信息进行查询，得到目标答案。本申请能够提高视觉问
-
Patent Agency Ranking
公开(公告)号：CN119377679A
公开(公告)日：2025-01-28
申请号：CN202411943704.2
申请日：2024-12-27
Applicant: 鹏城实验室
IPC: G06F18/214 , G06N20/00
Abstract: 本申请实施例提供一种模型训练方法、装置、存储介质及计算机设备，包括：获取指定设备发送的多模态语言模型中任务视觉适配器及语言模型的聚合参数，依语言模型聚合参数更新本地语言模型，筛选出本地目标任务视觉适配器的目标聚合参数并更新。接着构建任务混合适配器，将目标任务视觉适配器替换，其包含概率预测器、各任务适配器及待训练跨任务适配器。最后通过本地样本数据集对任务混合适配器中的概率预测器、目标任务视觉适配器和语言模型进行训练，以此得到训练后的多模态语言模型。通过训练概率预测器与跨任务适配器来适配不同任务，让多模态模型能学到各任务特有的模式与特征，进而提升模型性能。
-
公开(公告)号：CN117271818A
公开(公告)日：2023-12-22
申请号：CN202311559297.0
申请日：2023-11-22
Applicant: 鹏城实验室
IPC: G06F16/535 , G06F16/583 , G06N5/022 , G06N20/00 , G06N3/0464 , G06N3/08
Abstract: 本申请实施例提供了一种视觉问答方法、系统、电子设备及存储介质，属于计算机视觉技术领域。该方法包括：获取目标图像，以及对应的自然语言问题；基于目标图像和自然语言问题，在预设的知识图谱中进行知识检索，得到候选知识；并基于目标图像和自然语言问题进行关联查询，得到相应的隐式知识，并基于隐式知识得到目标问题；之后，将目标问题对应的文本特征和图像对应的目标图像特征拼接，得到多模态查询信息；再之后，根据多模态查询信息和候选知识进行注意力机制融合处理，得到细粒度信息；最后，将多模态查询信息与细粒度信息进行特征融合，得到目标特征信息，并基于目标特征信息进行查询，得到目标答案。本申请能够提高视觉问答的准确性。
-
公开(公告)号：CN118115392B
公开(公告)日：2024-07-02
申请号：CN202410525676.6
申请日：2024-04-29
Applicant: 鹏城实验室
IPC: G06T5/73 , G06V10/42 , G06V10/44 , G06N3/0455 , G06V10/80 , G06N3/0464 , G06N3/09
Abstract: 本申请实施例提供了一种图像去雾方法、装置、电子设备及存储介质，属于图像处理技术领域。该方法包括：获取待处理的有雾图像，从有雾图像中提取得到多个不同尺度下的有雾图像特征；将多个有雾图像特征分别作为各尺度下的输入特征，输入至多阶段去雾网络的第一阶段去雾子网络中，得到各尺度下对应的编码特征；从最小尺度的编码特征中进行全局和局部特征提取，得到整合特征，在各尺度下基于整合特征对相应的编码特征进行解码处理，并输出各尺度下对应的解码特征；基于各尺度下的解码特征确定下一阶段的输入特征，将输入到下一阶段的去雾子网络中，根据最后一个去雾子网络的输出得到目标去雾图像。本申请能够提高最终得到的目标去雾图像的质量。
-
公开(公告)号：CN118097520A
公开(公告)日：2024-05-28
申请号：CN202410517099.6
申请日：2024-04-28
Applicant: 鹏城实验室
IPC: G06V20/40 , G06V10/40 , G06V10/764 , G06V10/74
Abstract: 本申请实施例提供了一种视觉识别模型测试时自适应方法、装置、设备及介质，属于计算机视觉技术领域。该方法包括：获取目标域不同模态下的多个第一视频片段和多个第二视频片段；通过第一视觉识别模型分别对多个第一视频片段进行视觉识别，得到对应的多个第一识别结果，综合多个第一识别结果建立不同模态下各个类别的伪源特征；通过第二视觉识别模型分别对多个第二视频片段进行视觉识别，得到对应的多个第二识别结果，综合多个第二识别结果建立不同模态下各个类别的目标特征；将目标特征与相同类别下的伪源特征进行特征对齐，并对第二视觉识别模型进行自适应调整，得到自适应调整后的第二视觉识别模型。本申请能够提高视觉识别模型识别的准确率。
-
公开(公告)号：CN118115392A
公开(公告)日：2024-05-31
申请号：CN202410525676.6
申请日：2024-04-29
Applicant: 鹏城实验室
IPC: G06T5/73 , G06V10/42 , G06V10/44 , G06N3/0455 , G06V10/80 , G06N3/0464 , G06N3/09
Abstract: 本申请实施例提供了一种图像去雾方法、装置、电子设备及存储介质，属于图像处理技术领域。该方法包括：获取待处理的有雾图像，从有雾图像中提取得到多个不同尺度下的有雾图像特征；将多个有雾图像特征分别作为各尺度下的输入特征，输入至多阶段去雾网络的第一阶段去雾子网络中，得到各尺度下对应的编码特征；从最小尺度的编码特征中进行全局和局部特征提取，得到整合特征，在各尺度下基于整合特征对相应的编码特征进行解码处理，并输出各尺度下对应的解码特征；基于各尺度下的解码特征确定下一阶段的输入特征，将输入到下一阶段的去雾子网络中，根据最后一个去雾子网络的输出得到目标去雾图像。本申请能够提高最终得到的目标去雾图像的质量。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.018 seconds)
