基于运动场景的热红外非均匀噪声校正方法

    公开(公告)号:CN115711675A

    公开(公告)日:2023-02-24

    申请号:CN202211294229.1

    申请日:2022-10-21

    IPC分类号: G01J5/90 G01J5/00 G06T5/00

    摘要: 一种基于运动场景的热红外非均匀噪声校正方法,包括:用热红外相机记录多张连续的运动场景图像;将运动场景图像分为多个非重叠区域;估计不同像素在某一时刻对应非均匀噪声之差;建立噪声数学模型,利用最小二乘法求解实际非均匀噪声;设计掩模,去除非均匀噪声估计错误部分;对去除异常值后的非均匀噪声图进行填充,原图像与噪声图相减,即可得到校正后的无噪图像。本发明提出了一种全新的非均匀噪声估计的建模思路,并设计改进的中值提取算法,能有效的提取不同像素之间非均匀噪声的差值关系。所有处理过程只需要少数原始动态视频帧,避免了传统非均匀校正算法对于场景和视频帧数的严格要求,使其能广泛的应用于不同环境下的非均匀校正。

    一种基于强化学习的相机自动对焦方法

    公开(公告)号:CN117255246A

    公开(公告)日:2023-12-19

    申请号:CN202311463054.7

    申请日:2023-11-06

    申请人: 浙江大学

    IPC分类号: H04N23/67 H04N23/60

    摘要: 本发明公开了一种基于强化学习的相机自动对焦方法,该方法从相机视频流中获取当前的图像帧,首先使用图像清晰度评价函数获取图像的清晰度信息,然后将所述图像的清晰度信息转换为初始状态信息输入到强化学习网络中,强化学习网络输出下一阶段应执行的调焦动作,并获取执行所述调焦动作后相机当前的图像帧,循环往复,直至强化学习网络输出“停止运动”的动作,此时表示相机已完成自动对焦过程。本发明克服了传统自动对焦方法需要人工设计对焦策略的缺点,仅通过智能体和相机视频流信息的交互,即可学习到最优的自动对焦策略,在不同场景下均能实现准确、高效的自动对焦。

    基于多光谱与多模态图像一致性增强网络的配准方法

    公开(公告)号:CN113838104B

    公开(公告)日:2023-10-27

    申请号:CN202110890638.7

    申请日:2021-08-04

    申请人: 浙江大学

    摘要: 本发明公开了一种基于多光谱与多模态图像一致性增强网络的配准方法。该方法为:首先,训练图像一致性增强网络,训练方法为:获取多个训练图像对;将训练图像对分别输入多光谱与多模态图像一致性增强网络,经前向传播处理后输出图像,计算一致性增强损失函数;利用损失函数更新图像一致性增强网络的网络参数,直到其满足预定条件时,训练结束,得到训练好的图像一致性增强网络;然后将测试图像经过图像一致性增强网络增强,再利用基于多尺度运动估计的图像配准算法进行配准。本发明的图像一致性增强网络能够有效地提取多光谱与多模态图像的一致性,使得其在接下来的配准方法中取得优异的效果。

    基于深度多亮度映射无监督融合网络的红外图像增强方法

    公开(公告)号:CN117670753B

    公开(公告)日:2024-06-18

    申请号:CN202410125179.7

    申请日:2024-01-30

    摘要: 本发明公开了一种基于深度多亮度映射无监督融合网络的红外图像增强方法。方法包括:采集红外图像进行预处理和数据增强扩增后获得增强红外图像,从而构建为扩展红外图像数据集;建立深度多亮度映射无监督融合网络,网络包括非线性多亮度映射模块和多亮度映射融合模块;将扩展红外图像数据集输入网络中进行无监督训练,获得训练完成的网络;将待增强的红外图像输入网络中处理后输出增强后的红外图像,完成红外图像的增强。本发明方法网络具有高并行化的特点,可同时处理多幅多尺寸的红外图像,网络推理速度快,且效果自然。

    基于双层特征提取网络的可见光与热红外融合方法

    公开(公告)号:CN118015291A

    公开(公告)日:2024-05-10

    申请号:CN202410098628.3

    申请日:2024-01-24

    摘要: 本发明公开了一种基于双层特征提取网络的可见光与热红外融合方法。方法包括:采集不同场景下的可见光和红外图像并构建为图像训练集;构建双层特征提取网络,包括双层特征编码、双层特征融合和特征解码模块;将图像训练集输入网络中训练,获得训练完成的网络;采集同一场景下的待融合的可见光和红外图像,将可见光图像转换后为可见光灰度图像,将可见光灰度和红外图像输入网络中,处理后输出融合灰度图像;将融合灰度图像进行颜色空间转换后获得最终彩色融合图像,实现最终融合。本发明利用自监督方式进行特征编码与解码模块训练,并设计了自监督损失函数有效提取图像的全局亮度特征和局部细节特征,保证了网络特征提取与图像重建的稳定性。

    一种基于自适应卡尔曼滤波的实时视频稳像方法

    公开(公告)号:CN116366976A

    公开(公告)日:2023-06-30

    申请号:CN202310288864.7

    申请日:2023-03-22

    申请人: 浙江大学

    IPC分类号: H04N23/68

    摘要: 本发明公开了一种基于自适应卡尔曼滤波的实时视频稳像方法,步骤包括:1)获取相机实时拍摄的原始视频帧序列;2)对原始视频帧序列进行特征点检测;3)对原始视频帧序列中相邻两帧间进行特征点跟踪与匹配;4)计算相机的运动参数及原始相机路径;5)采用自适应卡尔曼滤波算法对原始运动轨迹进行滤波;6)对原始视频帧序列进行运动补偿,去除当前帧中的抖动,输出稳定的视频帧。本发明采用自适应卡尔曼滤波平滑相机路径,增强了该技术在应用场景上的鲁棒性,可有效去除大量抖动分量。该方法在保证相机运动路径更加平滑的同时又有效减少了在不同拍摄场景下固定参数的卡尔曼滤波器所产生的偏差,处理过程简单,速度快,系统成本低,实时性好。

    基于预测校正和汇聚注意力transformer的多模态图像配准方法

    公开(公告)号:CN117173226A

    公开(公告)日:2023-12-05

    申请号:CN202311245570.2

    申请日:2023-09-25

    申请人: 浙江大学

    摘要: 本发明公开了一种基于预测校正和汇聚注意力transformer的多模态图像配准方法,该方法首先利用卷积神经网络对目标图像和源图像进行特征提取,再基于自注意力机制对所述目标图像/源图像特征图进行自注意力特征修饰,并进一步基于交叉注意力机制预测残差配准参数;循环上述过程至设定次数,对残差配准参数累加得到最终配准参数,即可对源图像进行形变校正。本发明方法引入基于模型预测引导形变校正的迭代推理框架,提高模型的鲁棒能力,增强配准的精度。实验结果和分析证明了本发明所提出的基于预测校正和汇聚注意力transformer的多模态图像配准方法对于解决多模态图像配准问题的有效性和优越性。

    基于多光谱与多模态图像一致性增强网络的配准方法

    公开(公告)号:CN113838104A

    公开(公告)日:2021-12-24

    申请号:CN202110890638.7

    申请日:2021-08-04

    申请人: 浙江大学

    摘要: 本发明公开了一种基于多光谱与多模态图像一致性增强网络的配准方法。该方法为:首先,训练图像一致性增强网络,训练方法为:获取多个训练图像对;将训练图像对分别输入多光谱与多模态图像一致性增强网络,经前向传播处理后输出图像,计算一致性增强损失函数;利用损失函数更新图像一致性增强网络的网络参数,直到其满足预定条件时,训练结束,得到训练好的图像一致性增强网络;然后将测试图像经过图像一致性增强网络增强,再利用基于多尺度运动估计的图像配准算法进行配准。本发明的图像一致性增强网络能够有效地提取多光谱与多模态图像的一致性,使得其在接下来的配准方法中取得优异的效果。