公开(公告)号：CN116778162B

公开(公告)日：2024-08-20

申请号：CN202310752079.2

申请日：2023-06-25

申请人： 南京航空航天大学 ,  南京航空航天大学深圳研究院

发明人： 魏明强 ,  陈晨 ,  燕雪峰

IPC分类号： G06V10/26 ,  G06V10/764 ,  G06V10/82 ,  G06V10/56 ,  G06V10/422 ,  G06V10/774 ,  G06V10/52 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0895 ,  G06V20/64

摘要： 本发明公开了基于几何特征引导的弱监督大飞机外形点云语义分割方法，属于三维点云模型检测领域，方法包括：基于激光扫描仪生成大量具有三维坐标及RGB颜色信息的点云数据，经过弱标签注释的点云数据作为预训练标签数据，构建弱监督点云语义网络模型，将训练标签数据输入弱监督点云语义网络模型中的编码器模块，对弱监督点云语义网络模型进行预训练得到每个点的伪标签，利用伪标签继续训练，直至交叉熵损失函数收敛，执行语义分割任务分类得到大型飞机外形的分类结果；本发明在小规模注释情况对大飞机外形进行分析，分析大飞机外形形变；该方法实现了大飞机外形的语义分割，并能够进行外形形变分析，减少人工标注成本，提高飞机服役寿命。

公开(公告)号：CN116681895B

公开(公告)日：2024-08-02

申请号：CN202310708950.9

申请日：2023-06-15

申请人： 南京航空航天大学 ,  南京航空航天大学深圳研究院

发明人： 魏明强 ,  陈赵威

IPC分类号： G06V10/26 ,  G06V10/40 ,  G06V10/82 ,  G06V10/764 ,  G06V10/80 ,  G06T19/20 ,  G06N3/0464 ,  G06N3/08 ,  G06N3/0455

摘要： 本发明公开了一种飞机网格模型部件分割方法、系统、设备及介质，属于三角网格分割领域，方法包括：利用仪器对飞机进行采集或利用软件对飞机进行建模获取三角网格数据Pi；将三角面片的位置信息和结构信息提取成初步的特征向量，将特征向量及邻接关系到CNN和Transformer特征提取深度网络中生成模型表征，并利用Fused‑Attention模块进行特征融合得到每个三角面片的特征表示f；将每个三角面片的特征表示f输入到分割模块中进行分割任务，得到三角面片类别标签的分割结果。本发明通过将CNN和Transformer的优势互补，更好的提取网格的局部和全局特征，从而提升三角网格分割的准确率，促进分割任务的鲁棒性和泛化性，应用分割任务驱动策略为飞机网格分割任务提供稳定可靠的技术支撑。

公开(公告)号：CN117315194B

公开(公告)日：2024-05-28

申请号：CN202311263784.2

申请日：2023-09-27

申请人： 南京航空航天大学 ,  南京航空航天大学深圳研究院

发明人： 魏明强 ,  张家修 ,  朱定坤 ,  郭延文

IPC分类号： G06T17/20 ,  G06F30/15 ,  G06F30/27 ,  G06V10/26 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/042 ,  G06N3/0455

摘要： 本发明公开了面向大型飞机外形的三角网格表征学习方法，包括：S1：基于大型飞机外形对应的三角网格数据，在原始图像上建立原图和对偶图；S2：针对原图应用RWPE位置编码，得到节点特征向量嵌入；S3：将节点特征向量嵌入输入图Transformer模块，将对偶图输入图卷积模块，得到原图特征图和对偶图特征图；S4：最大池化原图特征图和对偶图特征图，并采用MLP和softmax实现大型飞机外形的三角网格的分类或分割。本发明能够结合卷积网络和Transformer架构的优势，最大限度地保留局部细节和全局依赖关系，能够提取出具有丰富语义信息的有效特征，充分发挥网格表示的优势，且不需要人为的先验知识。

公开(公告)号：CN116757497B

公开(公告)日：2024-01-12

申请号：CN202310688374.6

申请日：2023-06-12

申请人： 南京航空航天大学 ,  南京航空航天大学深圳研究院

发明人： 魏明强 ,  王洁

IPC分类号： G06Q10/0637 ,  G06Q50/26 ,  G06F18/25 ,  G06N3/0464

摘要： 本发明公开了一种基于图类感知Transformer的多模态军事智能辅助作战决策的方法，包括以下步骤：S1、模拟作战环境，获取环境信息；S2、构建多智能体的全局图结构以及子图结构；S3、基于图卷积神经网络提取节点特征；S4、基于预训练CLIP模型中获得图像、文本模态的特征，其次根据图文语义相似度更新特征图得到图文匹配表征；S5、基于Transformer网络学习智能体表征，获取智能体嵌入向量；S6、根据智能体嵌入向量计算Q值，基于DQN算法确定作战决策；本发明设计了有效的网络结构对多个作战智能体进行表征学习，并且基于智能体合作对抗关系得出更先进的作战策略，解决了军事作战情况中混合合作以及竞争任务的关键性难点，面对不(56)对比文件陈卓;杜昊;吴雨菲;徐童;陈恩红.基于视觉-文本关系对齐的跨模态视频片段检索.中国科学:信息科学.2022,(第06期),345-368.徐彬.基于OODA 环和动态图强化学习的作战辅助决策研究.知网优秀硕士论文网.2022,10-54.石鼎，燕雪峰，宫丽娜，张静宣，关东海，魏明强.强化学习驱动的海战场多智能体协同作战仿真算法.系统仿真学报.2023,第35卷(第4期),786-796.金　澄, 弋步荣, 曾志昊, 刘扬, 陈旭,赵裴, 康栋.一种顾及空间语义的跨模态遥感影像检索技术.中国电子科学研究院学报.2023,(第4期),298-385.陈卓;杜昊;吴雨菲;徐童;陈恩红.基于视觉-文本关系对齐的跨模态视频片段检索.中国科学:信息科学.2020,(第06期),88-102.

公开(公告)号：CN117058366A

公开(公告)日：2023-11-14

申请号：CN202310808512.X

申请日：2023-07-04

申请人： 南京航空航天大学 ,  南京航空航天大学深圳研究院

发明人： 魏明强 ,  彭晓勤 ,  陈红华 ,  郭延文

IPC分类号： G06V10/26 ,  G06V10/42 ,  G06V10/762 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045

摘要： 本发明公开了基于预训练大模型的大型飞机大部件点云语义分割方法，包括获取大型飞机的整机实测点云数据；光栅化实测点云数据获得二维多视角渲染图；GLIP预训练模型采用多视图间适配模块，融合提取点云的全局特征，结合的文本特征获取各视图下的多个目标识别框；对实测点云数据进行K近邻图建模并进行分割迭代，完成点云的超点聚类；为不同的视图分配权重，计算各视图下各个超点被所有部件类别的目标识别框所覆盖的比例，将覆盖率最高的部件类别标签赋予对应超点，得到大型飞机大部件点云语义分割结果。本发明可通过GLIP预训练大模型的改进与三维点云的几何先验信息的结合，获取大型飞机大部件点云语义分割结果，进行大部件几何形变分析。

公开(公告)号：CN117058556A

公开(公告)日：2023-11-14

申请号：CN202310808454.0

申请日：2023-07-04

申请人： 南京航空航天大学 ,  南京航空航天大学深圳研究院

发明人： 魏明强 ,  丁晨俊 ,  钱红燕

IPC分类号： G06V20/13 ,  G06V10/44 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0895 ,  G06N3/096

摘要： 本发明公开了基于自监督蒸馏的边缘引导SAR图像舰船检测方法，包括采用无标签的SAR图像数据集，通过自监督蒸馏学习训练网络ResNet‑18；将带有标签的SAR图像目标检测数据集图像输入ResNet‑18进行特征提取，获得特征图；采用频域和空间域的特征融合来预测图像边缘；采用边缘特征对特征图进行边缘引导后输入空洞金字塔池化网络中进行多尺度融合，得到多个尺度的特征；将多个尺度的特征送入检测模块获得检测结果，通过检测结果与标签计算检测损失，训练网络。本发明能够快速有效地检测复杂背景下遥感SAR图像的各种尺度的目标，为多源干扰环境条件下的军事侦察、无人作战系统等多种军事任务提供稳定可靠的技术支撑。

公开(公告)号：CN117422829A

公开(公告)日：2024-01-19

申请号：CN202311379379.7

申请日：2023-10-24

申请人： 南京航空航天大学 ,  南京航空航天大学深圳研究院

发明人： 魏明强 ,  赵安 ,  朱哲 ,  郭延文 ,  王伟明 ,  谢浩然 ,  王富利

IPC分类号： G06T17/00 ,  G06T7/80 ,  G06T7/70 ,  G06T7/90 ,  G06V40/16 ,  G06T15/00 ,  G06N3/0499 ,  G06N3/048 ,  G06N3/0475 ,  G06N3/094

摘要： 本发明公开了一种基于神经辐射场的人脸图像合成优化方法，包括获取单目RGB人脸视频并进行帧提取和二维人脸图像拟合，对二维人脸图像进行人脸面部进行实时追踪和分析，得到相机内参、位姿参数和表情参数；采用相机内参、位姿参数对二维人脸图像进行光线采样，得到相应的三维坐标，并对得到的三维坐标进行位置编码；将编码后的位置与表情参数、潜编码一同输入进MLP构成的神经网络中进行神经辐射场训练，得到RGB颜色值与密度；利用体渲染将RGB颜色值与密度合成为二维新视角的二维人脸图像；采用生成对抗网络对步骤S4合成的二维人脸图像进行优化。本发明神经网络训练时间短，生成的人脸图像伪影少、细节更加丰富，有着更为广阔的前景。

公开(公告)号：CN116778162A

公开(公告)日：2023-09-19

申请号：CN202310752079.2

申请日：2023-06-25

申请人： 南京航空航天大学 ,  南京航空航天大学深圳研究院

发明人： 魏明强 ,  陈晨 ,  燕雪峰

IPC分类号： G06V10/26 ,  G06V10/764 ,  G06V10/82 ,  G06V10/56 ,  G06V10/422 ,  G06V10/774 ,  G06V10/52 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0895 ,  G06V20/64

摘要： 本发明公开了基于几何特征引导的弱监督大飞机外形点云语义分割方法，属于三维点云模型检测领域，方法包括：基于激光扫描仪生成大量具有三维坐标及RGB颜色信息的点云数据，经过弱标签注释的点云数据作为预训练标签数据，构建弱监督点云语义网络模型，将训练标签数据输入弱监督点云语义网络模型中的编码器模块，对弱监督点云语义网络模型进行预训练得到每个点的伪标签，利用伪标签继续训练，直至交叉熵损失函数收敛，执行语义分割任务分类得到大型飞机外形的分类结果；本发明在小规模注释情况对大飞机外形进行分析，分析大飞机外形形变；该方法实现了大飞机外形的语义分割，并能够进行外形形变分析，减少人工标注成本，提高飞机服役寿命。

公开(公告)号：CN116757497A

公开(公告)日：2023-09-15

申请号：CN202310688374.6

申请日：2023-06-12

申请人： 南京航空航天大学 ,  南京航空航天大学深圳研究院

发明人： 魏明强 ,  王洁

IPC分类号： G06Q10/0637 ,  G06Q50/26 ,  G06F18/25 ,  G06N3/0464

摘要： 本发明公开了一种基于图类感知Transformer的多模态军事智能辅助作战决策的方法，包括以下步骤：S1、模拟作战环境，获取环境信息；S2、构建多智能体的全局图结构以及子图结构；S3、基于图卷积神经网络提取节点特征；S4、基于预训练CLIP模型中获得图像、文本模态的特征，其次根据图文语义相似度更新特征图得到图文匹配表征；S5、基于Transformer网络学习智能体表征，获取智能体嵌入向量；S6、根据智能体嵌入向量计算Q值，基于DQN算法确定作战决策；本发明设计了有效的网络结构对多个作战智能体进行表征学习，并且基于智能体合作对抗关系得出更先进的作战策略，解决了军事作战情况中混合合作以及竞争任务的关键性难点，面对不同场景的战场结构仍可适用，可泛化能力强。

公开(公告)号：CN116681895A

公开(公告)日：2023-09-01

申请号：CN202310708950.9

申请日：2023-06-15

申请人： 南京航空航天大学 ,  南京航空航天大学深圳研究院

发明人： 魏明强 ,  陈赵威

IPC分类号： G06V10/26 ,  G06V10/40 ,  G06V10/82 ,  G06V10/764 ,  G06V10/80 ,  G06T19/20 ,  G06N3/0464 ,  G06N3/08 ,  G06N3/0455

摘要： 本发明公开了一种飞机网格模型部件分割方法、系统、设备及介质，属于三角网格分割领域，方法包括：利用仪器对飞机进行采集或利用软件对飞机进行建模获取三角网格数据Pi；将三角面片的位置信息和结构信息提取成初步的特征向量，将特征向量及邻接关系到CNN和Transformer特征提取深度网络中生成模型表征，并利用Fused‑Attention模块进行特征融合得到每个三角面片的特征表示f；将每个三角面片的特征表示f输入到分割模块中进行分割任务，得到三角面片类别标签的分割结果。本发明通过将CNN和Transformer的优势互补，更好的提取网格的局部和全局特征，从而提升三角网格分割的准确率，促进分割任务的鲁棒性和泛化性，应用分割任务驱动策略为飞机网格分割任务提供稳定可靠的技术支撑。