-
公开(公告)号：CN117152810B
公开(公告)日：2025-04-11
申请号：CN202311012547.9
申请日：2023-08-11
Applicant: 中国矿业大学
IPC: G06V40/16 , G06V10/82 , G06V10/774 , G06N3/048
Abstract: 本发明公开了一种基于头部特征自适应匹配的知识蒸馏方法，对教师网络和学生网络的输出层特征进行排序和修剪处理，将注意力集中到修剪处理后得到的头部特征中，根据相应的排序方式计算头部蒸馏损失；再将头部特征中包含目标类信息的特征层修剪得到主体特征，在主体特征中进行自适应匹配，根据相应的排序方式计算自适应输出特征损失；利用总蒸馏损失促使学生网络学习主要输出特征层的类间相似度信息。本发明利用了非目标类知识的信息并且融合了自适应注意力匹配的方法，定位到含更多泛化信息的主体特征，自适应地提取到更有利于学生网络学习的分类信息，提升了学生网络对陌生数据集的适应性，同时也增强了模型的泛化性和鲁棒性。
-
公开(公告)号：CN117454971A
公开(公告)日：2024-01-26
申请号：CN202311530381.X
申请日：2023-11-16
Applicant: 中国矿业大学
IPC: G06N3/096 , G06N3/045 , G06N3/0495 , G06V10/44 , G06V10/774 , G06V10/80 , G06V10/82
Abstract: 本发明公开了一种基于自适应掩码加权的投影式知识蒸馏方法，首先构建基于学生网络的学生模块提取的特征的关系矩阵使其相邻像素间所包含信息更加丰富多样，其次基于学生网络的关系矩阵和特征图分别构建自适应掩码矩阵进行自适应掩码加权，再构建投影层并利用被掩码加权的特征在教师网络的引导下投影出完整的、逼近教师特征的特征，最后利用教师网络相应的特征层去监督学生网络相应的特征层并以此更新学生模型。本发明提高了学生网络模型对于所学到的丰富信息的表达能力，解决了由随机掩码学生特征和学生特征相邻像素感受野有限造成的学生网络表征能力受限、信息利用不足的问题，提升了知识蒸馏模型的鲁棒性和泛化能力。
-
Patent Agency Ranking
公开(公告)号：CN117853856B
公开(公告)日：2024-07-30
申请号：CN202410031296.7
申请日：2024-01-09
Applicant: 中国矿业大学
IPC: G06V10/80 , G06V10/774 , G06N3/0464 , G06V10/82 , G06N3/045 , G06V10/44 , G06V10/42
Abstract: 本发明公开了一种基于多模态图像融合的微光夜视场景理解方法，属于人工智能技术，根据层级多模态特征信息的特点，构建不同特征校准和特征聚合模块以增强多模态特征信息的联合表示学习；构建跨模态全局特征描述模块以减少模态间的信息差异，实现多模态特征信息的校准；构建多模态交错稀疏自注意力模块来保证浅层网络层中多模态空间特征信息的聚合；构建对称金字塔池化交叉注意力模块与多模态跨通道通信模块用于聚合深层特征的空间层信息和通道层信息。本发明能够充分利用多模态特征信息互补优势，避免单一模态信息导致微光夜视场景理解能力不足，能够在夜间城市道路自动驾驶和地下空间暗弱无人导航系统中应用。
-
公开(公告)号：CN117253123B
公开(公告)日：2024-05-17
申请号：CN202311012546.4
申请日：2023-08-11
Applicant: 中国矿业大学
IPC: G06V10/86 , G06V10/44 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种基于中间层辅助特征模块融合匹配的知识蒸馏方法，将教师网络和学生网络划分成若干个模块，利用所划分的模块构建分支网络和辅助训练模块，计算其辅助训练损失；再构建特征融合模块并利用注意力机制生成不同的融合权值对辅助训练模块中提取到的特征根据制定的融合策略进行特征融合，计算其特征融合损失；最后将利用总的蒸馏损失促使学生网络和教师网络进行充分地信息交流，并且辅助学生网络更好的分模块矫正参数。本发明解决了知识网络中存在的信息利用不足、信息交流不对等以及信息冗余问题，提升了学生模型对综合信息的学习和表征能力，提高了特征迁移的可靠性，增强了模型的泛化性和鲁棒性。
-
公开(公告)号：CN117253123A
公开(公告)日：2023-12-19
申请号：CN202311012546.4
申请日：2023-08-11
Applicant: 中国矿业大学
IPC: G06V10/86 , G06V10/44 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种基于中间层辅助特征模块融合匹配的知识蒸馏方法，将教师网络和学生网络划分成若干个模块，利用所划分的模块构建分支网络和辅助训练模块，计算其辅助训练损失；再构建特征融合模块并利用注意力机制生成不同的融合权值对辅助训练模块中提取到的特征根据制定的融合策略进行特征融合，计算其特征融合损失；最后将利用总的蒸馏损失促使学生网络和教师网络进行充分地信息交流，并且辅助学生网络更好的分模块矫正参数。本发明解决了知识网络中存在的信息利用不足、信息交流不对等以及信息冗余问题，提升了学生模型对综合信息的学习和表征能力，提高了特征迁移的可靠性，增强了模型的泛化性和鲁棒性。
-
公开(公告)号：CN117853856A
公开(公告)日：2024-04-09
申请号：CN202410031296.7
申请日：2024-01-09
Applicant: 中国矿业大学
IPC: G06V10/80 , G06V10/774 , G06N3/0464 , G06V10/82 , G06N3/045 , G06V10/44 , G06V10/42
Abstract: 本发明公开了一种基于多模态图像融合的微光夜视场景理解方法，属于人工智能技术，根据层级多模态特征信息的特点，构建不同特征校准和特征聚合模块以增强多模态特征信息的联合表示学习；构建跨模态全局特征描述模块以减少模态间的信息差异，实现多模态特征信息的校准；构建多模态交错稀疏自注意力模块来保证浅层网络层中多模态空间特征信息的聚合；构建对称金字塔池化交叉注意力模块与多模态跨通道通信模块用于聚合深层特征的空间层信息和通道层信息。本发明能够充分利用多模态特征信息互补优势，避免单一模态信息导致微光夜视场景理解能力不足，能够在夜间城市道路自动驾驶和地下空间暗弱无人导航系统中应用。
-
公开(公告)号：CN117152810A
公开(公告)日：2023-12-01
申请号：CN202311012547.9
申请日：2023-08-11
Applicant: 中国矿业大学
IPC: G06V40/16 , G06V10/82 , G06V10/774 , G06N3/048
Abstract: 本发明公开了一种基于头部特征自适应匹配的知识蒸馏方法，对教师网络和学生网络的输出层特征进行排序和修剪处理，将注意力集中到修剪处理后得到的头部特征中，根据相应的排序方式计算头部蒸馏损失；再将头部特征中包含目标类信息的特征层修剪得到主体特征，在主体特征中进行自适应匹配，根据相应的排序方式计算自适应输出特征损失；利用总蒸馏损失促使学生网络学习主要输出特征层的类间相似度信息。本发明利用了非目标类知识的信息并且融合了自适应注意力匹配的方法，定位到含更多泛化信息的主体特征，自适应地提取到更有利于学生网络学习的分类信息，提升了学生网络对陌生数据集的适应性，同时也增强了模型的泛化性和鲁棒性。
-
-
-
-
-
-
Search Results
7
records
(took 0.016 seconds)
