公开(公告)号：CN117115556A

公开(公告)日：2023-11-24

申请号：CN202311189790.8

申请日：2023-09-14

Applicant: 哈尔滨理工大学

Inventor： 王爱丽 ,  周华明 ,  吴海滨 ,  徐恺阳 ,  刘城洋 ,  戴诗语

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种高光谱开放集分类方法及系统，涉及高光谱图像开放集分类领域技术领域。本发明中高光谱图像通过多个图像特征提取层得到高光谱的最终图像特征；将最终高光谱的图像特征通过逐层图像重建处理得到主路重建图像，各层图像处理后的重建特征图分别经反卷积支路处理后与主路重建图像叠加融合得到最终重建图像；根据最终重建图像和原图像获取重建损失，根据重建损失和EVT算法判断所述高光谱图像是否为已知类；对判定为已知类的高光谱图像进行分类，输出分类结果。本发明增强了图像特征识别能力，能够更好地提取与未知类别相关的空间和通道特征，有效分离未知类，提高了已知类的分类精度。

公开(公告)号：CN117853816A

公开(公告)日：2024-04-09

申请号：CN202410096914.6

申请日：2024-01-24

Applicant: 哈尔滨理工大学

Inventor： 王爱丽 ,  张康 ,  吴海滨 ,  戴诗语 ,  孙慧 ,  郭抗抗

IPC: G06V10/764 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了基于多尺度SE注意力机制结合ViT的高光谱图像分类系统及方法，涉及图像分类技术领域。本发明的多尺度SEResBlock单元，包括若干个级联的SEResBlock模块，通过依次级联的SEResBlock模块得到高光谱的中层次特征；ViT单元包括级联的嵌入模块、Transformer编码器和MLP模块，所述Transformer编码器包括Cross‑Re‑Attention子模块和前馈网络子模块，所述Cross‑Re‑Attention子模块用以提取高光谱图像的高层次特征，所述MLP模块输出分类结果。本发明能够从不同尺度提取光谱特征，提高图像的分类精度。

公开(公告)号：CN115841599A

公开(公告)日：2023-03-24

申请号：CN202211703105.4

申请日：2023-02-23

Applicant: 哈尔滨理工大学

Inventor： 吴海滨 ,  邢爽 ,  王爱丽 ,  张康 ,  戴诗语 ,  刘和

IPC: G06V10/764 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06V20/10 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明新型耦合共享的高光谱与LiDAR数据协同分类方法属于图像分类技术领域；该方法依次执行以下步骤：步骤a、使用主成分分析方法去除高光谱图像的光谱冗余，然后送入空洞空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)模块提取多分辨率特征；步骤b、将LiDAR数据输入到另一支路的ASPP模块，提取多分辨率特征；步骤c、将高光谱和LiDAR两支路的多分辨率特征分别输入各支路的三个可分离卷积模块中，其中两支路之间第二个和第三个的可分离卷积模块进行参数共享；步骤d、将高光谱和LiDAR数据两支路的特征分别输入各支路的多头自注意力(Multi‑Head Self‑Attention，MHSA)中来提取更加有效的信息；步骤e、将MHSA加权后的高光谱和LiDAR特征进行融合，并使用softmax进行分类。本发明利用ASPP、可分离卷积耦合共享机制和MHSA组成特征提取模块，利用特征融合机制实现不同传感器数据之间的信息互补，进一步增强学习特征的辨别能力，提高地物的分类精度。

公开(公告)号：CN116012637A

公开(公告)日：2023-04-25

申请号：CN202211416606.4

申请日：2022-11-13

Applicant: 哈尔滨理工大学

Inventor： 吴海斌 ,  戴诗语 ,  王爱丽 ,  宋璎珞 ,  刘城洋

IPC: G06V10/764 ,  G06N3/0464 ,  G06N3/09 ,  G06V10/58 ,  G06V10/77 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明基于对比学习双编码器的高光谱和LiDAR联合分类属于图像分类技术领域；该方法依次执行以下步骤：步骤a、输入待分类的高光谱图像(HSI)和LiDAR的DSM数据；步骤b、对HSI和LiDAR数据进行patch提取，形成各自的训练、验证和测试样本；步骤c、用阶段性训练方式，对HSI、LiDAR编码器阶段性进行分类训练，得到预训练模型；步骤d、对HSI‑LiDAR联合分类器的编码器进行参数初始化，针对HSI‑LiDAR联合分类器的对比学习分支，进行对比学习。步骤e、对HSI‑LiDAR联合分类器进行联合分类训练，得到联合分类结果；本发明通过从不同传感器获取的图像数据中充分挖掘光谱空间特征及深度信息进行高光谱和LiDAR的联合分类，通过自监督对比学习，实现多传感器遥感数据优势互补，提高了分类精度。

公开(公告)号：CN119027727A

公开(公告)日：2024-11-26

申请号：CN202411061275.6

申请日：2024-08-03

Applicant: 哈尔滨理工大学

Inventor： 吴海滨 ,  戴诗语 ,  王爱丽 ,  吕浩然 ,  闫思齐 ,  刘鑫宇 ,  孙慧 ,  于双

IPC: G06V10/764 ,  G06V10/80 ,  G06V10/44 ,  G06V10/58 ,  G06V20/10 ,  G06V20/64 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明涉及一种高光谱图像(HSI)与LiDAR数据语义协同的联合分类方法，属于图像分类技术领域。该方法依次执行以下步骤：步骤a：输入待分类的HSI图像和LiDAR数据；步骤b：通过向大型语言模型提出指令，构建类别描述符文本(Text)；步骤c：对HSI和LiDAR进行patch提取，形成训练、验证和测试样本集；步骤d：将HSI、LiDAR数据输入ModaUnion编码器，提取共性特征；步骤e：将HSI、LiDAR共性特征和Text输入混合专家编码器，得到特性特征表示；步骤f：将三个特征表示输入基于集成HSI与Text对比学习和HSI与LiDAR对比学习的联合分类器，进行联合分类训练，得到协同分类结果。本发明充分挖掘HSI、LiDAR及Text表示信息，协同构建了对地物属性更为全面且精细的多维度表征，实现了卓越的协同分类效果。

公开(公告)号：CN117953259A

公开(公告)日：2024-04-30

申请号：CN202311282162.4

申请日：2023-10-07

Applicant: 哈尔滨理工大学

Inventor： 吴海滨 ,  戴诗语 ,  王爱丽 ,  刘城洋 ,  徐恺阳 ,  左云逸

IPC: G06V10/764 ,  G06N3/0464 ,  G06N3/045 ,  G06V10/774 ,  G06V10/776 ,  G06V10/82 ,  G06V10/40 ,  G06V20/10

Abstract: 本发明基于双支路CNN‑Transformer的高光谱与LiDAR协同的农作物精准分类方法属于图像分类技术领域；该方法依次执行以下步骤：输入待分类的高光谱图像和激光雷达数据；对HSI和LiDAR数据进行patch提取，形成各自的训练、验证和测试样本集；将HSI、LiDAR的patch数据输入由卷积神经网络构成的UniFeat Block共有特征提取模块，获得共性特征；将HSI和LiDAR的共性特征对齐后，输入改进的Transformer编码器，得到HSI、LiDAR的特征表示；将HSI、LiDAR的特征表示，输入基于集成对比学习的HSI‑LiDAR联合分类器进行训练，得到协同分类结果；本发明利用CNN强大的特征提取能力与Transformer的长程依赖建模能力，通过异构传感数据的多模态特征对齐与融合，实现更优异的协同分类效果。