-
公开(公告)号：CN117131377A
公开(公告)日：2023-11-28
申请号：CN202311120969.8
申请日：2023-08-31
申请人： 贵州大学
IPC分类号： G06F18/214 , G06F18/2415 , G06V10/774 , G06V10/764 , G06V10/82 , G06V10/40 , G06N5/04 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/0499 , G06N3/047
摘要： 本发明提出了一种开放域属性和对象引导的零次学习视觉模型推理方法，包括以下步骤：S1，将文本信息输入AOGN‑CZSL模型中的文本特征编码器 得到基于文本信息的属性特征和对象特征；将图像信息输入AOGN‑CZSL模型中的图像特征提取器 得到基于图像信息的属性和对象；S2，通过AOGN‑CZSL模型中的兼容性学习空间P将基于文本信息的属性特征和对象特征，以及基于图像信息的属性和对象进行送入兼容性学习，得到训练完毕的AOGN‑CZSL模型；S3，将待测的图像或者文本输入AOGN‑CZSL模型，得到预测结果。本发明方法能同时处理多属性和多对象，学习不同属性、对象及其组合的丰富依赖结构。以及通过编码器分别学习到属性之间的联系性以及对象之间的联系性，用这种方式学习到的依赖性和联系性比较有序和简单。
-
公开(公告)号：CN116206149A
公开(公告)日：2023-06-02
申请号：CN202310009623.4
申请日：2023-01-04
申请人： 贵州大学
IPC分类号： G06V10/764 , G06V10/82 , G06V10/80 , G06V10/26 , G06N3/042 , G06N3/0464 , G06N3/08
摘要： 本发明提出了一种基于GCN与CNN新型网络的小样本HSI分类方法，包括以下步骤：S1，对HSI数据进行线性投影映射和像素特征到超像素特征的转换；S2，对形成的超像素特征送入到图编码器中，然后进行HSI图数据形式的特征提取，再经过解码器解码出图数据特征；S3，将图数据特征进行非线性特征处理，得到特征一；S4，对HSI数据通过光谱清洗卷积进行降噪，同时对高维的HSI数据进行降维处理，生成降维特征图；S5，将降维特征图通过注意力机制和信息交互处理，之后再经过一层注意力机制与空间特征卷积，得到特征二；S6，将步骤S3得到的特征一与步骤S5得到的特征二进行ConCat多特征融合，输出分类结果。本发明解决了小样本分类、噪音大、光谱空间语义位置信息丢失等问题。
-
公开(公告)号：CN118196428B
公开(公告)日：2024-07-19
申请号：CN202410613151.8
申请日：2024-05-17
申请人： 贵州大学
IPC分类号： G06V10/42 , G06V10/764 , G06V10/86 , G06V10/82 , G06V10/776 , G06N3/045 , G06N3/08
摘要： 本发明公开了一种用于组合零次学习的视觉属性表征学习方法，包括以下步骤：S1，将训练集图片输入LVAR‑CZSL的视觉骨干网络提取图片全局视觉特征#imgabs0#，然后通过视觉属性表征模块（VARM）进一步提取更细致的属性#imgabs1#和对象视觉特征#imgabs2#；S2，将文本信息通过预训练的词嵌入模型转化为词向量，输入LVAR‑CZSL模型中的联系性学习模块（CLM），得到具有全局依赖性的属性和对象文本特征；S3，通过LVAR‑CZSL模型中的联合评分函数（JSF）结合视觉特征和文本特征，缩小图像和文本特征之间的距离，联合损失函数（JLF）优化VARM和CLM的学习过程，得到训练完毕的LVAR‑CZSL模型；S4，将待预测测的图像或者待检索的文本输入LVAR‑CZSL模型，得到测试结果。
-
公开(公告)号：CN115471677B
公开(公告)日：2023-09-29
申请号：CN202211124718.2
申请日：2022-09-15
申请人： 贵州大学
IPC分类号： G06V20/10 , G06V10/58 , G06V10/764 , G06V10/77 , G06V10/82 , G06V10/80 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/08
摘要： 本发明提出了一种基于双通道稀疏化网络的高光谱图像分类方法，包括以下步骤：S1，对高光谱图像数据进行降维处理；S2，采用通道注意力机制提取重要光谱与空间特征；S3，将所述重要光谱与空间特征输入光谱分支模块提取高光谱图像的光谱特征；S4，将所述重要光谱与空间特征和降维处理的高光谱图像数据输入空间分支模块提取高光谱图像空间特征；S5，将所述高光谱图像的光谱特征、所述高光谱图像空间特征与所述重要光谱与空间特征输入分类模块进行特征融合叠加得到输出结果。本发明能够通过设计的LCTCS网络在训练过程中去除大量冗余不必要的，对于高光谱图像(HIS)中丰富的光谱信息和空间信息的传递贡献较小的参数，从而达到节约计算资源的效果。
-
公开(公告)号：CN115471677A
公开(公告)日：2022-12-13
申请号：CN202211124718.2
申请日：2022-09-15
申请人： 贵州大学
摘要： 本发明提出了一种基于双通道稀疏化网络的高光谱图像分类方法，包括以下步骤：S1，对高光谱图像数据进行降维处理；S2，采用通道注意力机制提取重要光谱与空间特征；S3，将所述重要光谱与空间特征输入光谱分支模块提取高光谱图像的光谱特征；S4，将所述重要光谱与空间特征和降维处理的高光谱图像数据输入空间分支模块提取高光谱图像空间特征；S5，将所述高光谱图像的光谱特征、所述高光谱图像空间特征与所述重要光谱与空间特征输入分类模块进行特征融合叠加得到输出结果。本发明能够通过设计的LCTCS网络在训练过程中去除大量冗余不必要的，对于高光谱图像(HIS)中丰富的光谱信息和空间信息的传递贡献较小的参数，从而达到节约计算资源的效果。
-
公开(公告)号：CN118196428A
公开(公告)日：2024-06-14
申请号：CN202410613151.8
申请日：2024-05-17
申请人： 贵州大学
IPC分类号： G06V10/42 , G06V10/764 , G06V10/86 , G06V10/82 , G06V10/776 , G06N3/045 , G06N3/08
摘要： 本发明公开了一种用于组合零次学习的视觉属性表征学习方法，包括以下步骤：S1，将训练集图片输入LVAR‑CZSL的视觉骨干网络提取图片全局视觉特征#imgabs0#，然后通过视觉属性表征模块（VARM）进一步提取更细致的属性#imgabs1#和对象视觉特征#imgabs2#；S2，将文本信息通过预训练的词嵌入模型转化为词向量，输入LVAR‑CZSL模型中的联系性学习模块（CLM），得到具有全局依赖性的属性和对象文本特征；S3，通过LVAR‑CZSL模型中的联合评分函数（JSF）结合视觉特征和文本特征，缩小图像和文本特征之间的距离，联合损失函数（JLF）优化VARM和CLM的学习过程，得到训练完毕的LVAR‑CZSL模型；S4，将待预测测的图像或者待检索的文本输入LVAR‑CZSL模型，得到测试结果。
-
公开(公告)号：CN117953405A
公开(公告)日：2024-04-30
申请号：CN202410089496.8
申请日：2024-01-22
申请人： 贵州大学
IPC分类号： G06V20/40 , G06V10/764 , G06V10/774 , G06F18/25 , G06V10/82 , G06F18/213 , G06F18/22 , G06F18/27 , G06N3/045 , G06N3/0499 , G06N3/096
摘要： 本发明提出了融合跨模态注意力和关注模态内信息的视听零次学习方法，包括：获取原视频数据集，并将其分为训练集和测试集；从训练集中提取音频、视频、文本数据和文本标签；将音频和视频数据输入特征提取器，获取特征并进行编码；将编码后的音频和视频特征拼接，生成视听输入；将音频、视频、视听输入和文本数据输入多模态融合变压器，学习模态内信息；将多模态融合变压器的输出和文本标签映射到多模态联合嵌入空间，实现多模态学习；建立视听广义零次学习模型，用测试集进行测试，并优化训练；基于多模态联合嵌入空间的输出，利用视听广义零次学习模型预测视频分类，获得结果；多模态融合变压器能有效地融合多种模态信息，提高视听广义零次学习模型的性能。
-
-
-
-
-
-
搜索结果
7 条记录 (耗时 0.019 秒)
