-
公开(公告)号:CN117058527A
公开(公告)日:2023-11-14
申请号:CN202311034263.X
申请日:2023-08-16
申请人: 南京理工大学
IPC分类号: G06V10/94 , G06V10/774 , G06V10/82 , G06V10/26 , G06V20/70 , G06N3/0464 , G06N3/063 , G06N3/08 , G06N5/04 , G06F15/78 , G06T5/50
摘要: 本发明提出了一种目标检测及图像融合算法在RK3588平台的落地部署方案。首先自制数据集分成训练集和验证集,训练集用来对yolov5m‑seg神经网络进行训练,获取最优模型,将模型转为onnx格式后再转为rknn格式,使用验证集验证模型转换过程是否正确。算法使用双目摄像头采集红外与可见光图像,对图像预处理后,使用yolov5‑seg神经网络对红外图像进行目标检测,实例分割得到目标的分类和掩膜。通过掩膜生成一个矩形区域,在区域内对可见光图像和红外图像进行融合。北京讯为公司出品的RK3588开发板芯片内置NPU(神经网络处理器),在电路层来模拟人类的神经元和突触,特别擅长处理人工智能任务,且具有国产开发板的价格优势,因此本方案选定此开发板作为算法落地的部署平台。
-
公开(公告)号:CN111694016B
公开(公告)日:2023-10-20
申请号:CN202010490965.9
申请日:2020-06-02
申请人: 南京理工大学
摘要: 本发明提出了一种非干涉合成孔径超分辨成像重构方法:以圆形采样方案采集待测目标的低分辨率图像;对低分辨率图像进行配准和裁剪,随后对裁剪出来的方形图像进行去噪处理;将拍摄到的中心子孔径的低分辨率图像进行插值放大作为初始高分辨率图像;从高分辨率频谱上截取相应的子孔径,并用模拟退火算法校正当前子孔径的位置;利用基于自适应步长的最优化求解算法对当前子孔径的频谱和孔径函数进行更新,获得待测目标的高分辨率频谱信息。本发明使用圆形采样方案,显著提高了图像采集效率,在重构过程中使用模拟退火算法对子孔径的定位误差进行校正,使用最优化求解算法对子孔径进行更新,极大提高重构结果精度。
-
公开(公告)号:CN115690164A
公开(公告)日:2023-02-03
申请号:CN202211143352.3
申请日:2022-09-20
申请人: 南京理工大学 , 上海航天控制技术研究所
摘要: 本发明公开了一种基于残差学习的可见光‑红外序列目标跟踪方法,包括:初始化网络参数,对双波段图片序列的首帧进行目标采样,将样本输入包含三条并行分支的特征提取网络,每个分支分别提取可见光、红外、融合图像的特征;将特征图输入注意力模块,计算分层特征的注意力权重,用权重修正每一层的特征图;把最终的特征图送入各自的判别跟踪模块,得到目标跟踪的结果,利用融合分支与单模态分支的竞争、协作关系改进损失函数,根据目标真值框与实际跟踪框的偏差计算各分支的损失,优化网络;输入下一序列的图片,循环迭代得到跟踪网络模型,最终完成可见光——红外目标跟踪。本发明提高了可见光——红外目标跟踪的准确率和成功率。
-
公开(公告)号:CN115170810A
公开(公告)日:2022-10-11
申请号:CN202211095330.4
申请日:2022-09-08
申请人: 南京理工大学
IPC分类号: G06V10/26 , G06V10/774 , G06V10/82 , G06T5/50
摘要: 本发明提出了一种可见光红外图像融合目标检测实例分割方法,将红外图像与可见光图像配准,对红外图像与可见光光图像中的相同目标进行标定,依据标定结果对红外图像进行平移、缩放,得到红外配准图像;使用yolov5神经网络在红外配准图像中提取目标位置坐标;使用mask_rcnn神经网络在红外配准图像中提取mask掩膜;依据目标位置坐标确定融合范围,采用ADF图像融合方法对可见光图像与红外配准图像进行融合;对融合图像赋予伪彩色,并使用mask掩膜进行实例分割。本发明对于背景部分保留了可见光大视场的优势,对于目标部分结合了红外恶劣环境可见度高,以及可见光空间细节的优势。
-
公开(公告)号:CN111144224B
公开(公告)日:2022-09-06
申请号:CN201911222695.7
申请日:2019-12-03
申请人: 南京理工大学
摘要: 本发明提出了一种基于剪切波变换与傅里叶变换的红外小目标检测方法,包括利用非下采样金字塔滤波器组和非下采样剪切波变换对原始图像进行多尺度、多方向的分解,获得图像一个低频子带和K个不同方向上的高频子带图像;选取四个不同方向的高频子带图像作为四元数傅里叶变换的四个数据通道引入,进行图像重构;最后通过自适应阈值对重构图像进行分割,实现对红外图像中小目标的检测。本发明结合了非下采样剪切波变换与四元数傅里叶变换进行目标检测,具有虚警率率低、鲁棒性强等优点。
-
-
公开(公告)号:CN108230249B
公开(公告)日:2021-09-21
申请号:CN201611150706.1
申请日:2016-12-14
申请人: 南京理工大学
IPC分类号: G06T5/00
摘要: 本发明公开了一种基于各向异性的L1范数全变分正则化非均匀性校正方法,通过建立起基于单幅图像的各向异性全变分正则化模型,将去除红外图像非均匀性条纹噪声的问题转化为一个最小化全变分问题,之后采用分离布拉格曼迭代方法进行最优化,得出最优解,其最后一次迭代结果即为校正后的红外图像。本发明的创新点在于对传统的全变分模型针对非均匀条纹噪声水平方向全变分远大于竖直方向全变分的结构特点改进方程,使用基于L1范数的正则约束使其能适用于红外图像非均匀性校正,利用分离布拉格曼方法代替最陡梯度下降法进行方程最优化处理,大大提升了处理速度,最大程度地保留了物体的边缘信息。
-
-
-
公开(公告)号:CN109612384B
公开(公告)日:2020-11-06
申请号:CN201811292259.2
申请日:2018-11-01
申请人: 南京理工大学
摘要: 本发明公开了一种基于频谱亚像素平移的倾斜像差校正补偿方法,首先利用相机拍摄得到全息图像,再对全息图进行傅里叶变换得到频域内该全息图的频谱图,然后提取出+1级频谱,去除其余频谱,并求取+1级谱中心点,再将+1级谱平移到频谱的中央,即将落在亚像素级上+1级谱真正的中心点平移到频谱中央,根据傅里叶变换的性质,对+1级谱进行亚像素平移的操作亦可以转换成在空域内进行相移来实现。本发明通过手动调节来对频谱进行亚像素平移,解决了由于频谱中心点不在整像素上,导致的在将+1级谱平移到频谱中央时引入的倾斜像差问题,并能实时对相位的倾斜相差进行调整。
-
-
-
-
-
-
-
-
-