-
公开(公告)号:CN114298911B
公开(公告)日:2024-09-20
申请号:CN202111672918.7
申请日:2021-12-31
Applicant: 中国矿业大学
IPC: G06T3/4046 , G06T3/4076
Abstract: 本发明提供一种多尺度残差注意机制网络的单图像超分辨率重建方法,包括:构建多尺度残差注意机制网络,包括依次连接的由卷积层构建的浅特征提取部分,由N个深度连接多尺度残差注意组、远程跳跃连接和全局感知外部注意机制组成的深特征提取部分,放大模块部分,以及由卷积层构建的重构部分;将待重建的低分辨率图像ILR,通过浅特征提取部分提取其浅层特征F0,输入深特征提取模块获取深度特征FDF;通过放大模块部分将深度特征FDF进行放大;通过重构部分,将放大的特征FUP转换为超分辨率图像ISR。本发明构建了一个深度连接的多尺度残差注意网络,实现精确的SISR。
-
公开(公告)号:CN116958706B
公开(公告)日:2024-05-14
申请号:CN202311010112.0
申请日:2023-08-11
Applicant: 中国矿业大学
IPC: G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/08 , G06N3/0442 , G06V10/44
Abstract: 本发明提供了一种基于词性标注的图像多样化描述可控生成方法,包括训练阶段和测试阶段,采用两阶段的训练方式,第一阶段首先对多样化词性标注序列生成模型进行训练,第二阶段对可控描述生成模型进行训练。采用这种分阶段的训练方式,保证了两个模型之间的相互独立和互不干扰。在测试阶段,先将多样化词性标注序列生成模型生成的离散词性标注序列填充为固定长度,然后将其与图像特征和文本嵌入拼接起来作为控制信号,输入到可控图像描述生成模型中以生成最终的可控描述。
-
公开(公告)号:CN115239944A
公开(公告)日:2022-10-25
申请号:CN202210661517.X
申请日:2022-06-13
Applicant: 中国矿业大学
IPC: G06V10/25 , G06V10/40 , G06V10/82 , G06V10/764 , G06V10/44 , G06V10/80 , G06V20/62 , G06N3/04 , G06N3/08 , G06N5/04
Abstract: 本发明公开了一种基于因果图的因果推理图像字幕生成方法,适用于在图像字幕中使用。构建基于详细的因果图的因果推理方法图像字幕CIIC框架,包括非对齐特征Transformer编码器和干预式Transformer解码器,非对齐特Transformer解码器包括顺序连接的FASTERR‑CNN、干预式目标检测器IOD和标准的Transformer编码器;干预式Transformer解码器为在标准的Transformer解码器的前馈神经网络层模块之后插入一个因果干预CI模块组成;干预式目标检测器IOD和干预式Transformer解码器ITD联合控制视觉混淆因子和文本混淆因子对输入图像先进行编码,然后进行解码。通过后门调整能够消除混淆,有效解决传统图像描述中对编码图像中纠缠的视觉特征问题,图像描述中具有较强的鲁棒性。
-
公开(公告)号:CN114298911A
公开(公告)日:2022-04-08
申请号:CN202111672918.7
申请日:2021-12-31
Applicant: 中国矿业大学
IPC: G06T3/40
Abstract: 本发明提供一种多尺度残差注意机制网络的单图像超分辨率重建方法,包括:构建多尺度残差注意机制网络,包括依次连接的由卷积层构建的浅特征提取部分,由N个深度连接多尺度残差注意组、远程跳跃连接和全局感知外部注意机制组成的深特征提取部分,放大模块部分,以及由卷积层构建的重构部分;将待重建的低分辨率图像ILR,通过浅特征提取部分提取其浅层特征F0,输入深特征提取模块获取深度特征FDF;通过放大模块部分将深度特征FDF进行放大;通过重构部分,将放大的特征FUP转换为超分辨率图像ISR。本发明构建了一个深度连接的多尺度残差注意网络,实现精确的SISR。
-
公开(公告)号:CN116958706A
公开(公告)日:2023-10-27
申请号:CN202311010112.0
申请日:2023-08-11
Applicant: 中国矿业大学
IPC: G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/08 , G06N3/0442 , G06V10/44
Abstract: 本发明提供了一种基于词性标注的图像多样化描述可控生成方法,包括训练阶段和测试阶段,采用两阶段的训练方式,第一阶段首先对多样化词性标注序列生成模型进行训练,第二阶段对可控描述生成模型进行训练。采用这种分阶段的训练方式,保证了两个模型之间的相互独立和互不干扰。在测试阶段,先将多样化词性标注序列生成模型生成的离散词性标注序列填充为固定长度,然后将其与图像特征和文本嵌入拼接起来作为控制信号,输入到可控图像描述生成模型中以生成最终的可控描述。
-
公开(公告)号:CN118196051A
公开(公告)日:2024-06-14
申请号:CN202410354812.X
申请日:2024-03-27
Applicant: 中国矿业大学
IPC: G06T7/00 , G06V10/764 , G06V10/74 , G06V10/82 , G06T5/50 , G06N3/045 , G06N3/0895 , G06N3/096
Abstract: 本发明公开了基于原型记忆引导的自监督工业缺陷检测方法,涉及工业缺陷检测技术领域,包括基于显著性检测网络获得输入图像O的前景掩膜F,利用柏林噪声器生成输入图像O的随机噪声P,利用前景掩膜F将随机噪声P约束在前景区域获得掩膜图像M,利用掩膜图像M和分布外图像A合成缺陷图像S;利用教师‑学生网络提取输入图像O和缺陷图像S的特征,并获取特征之间逐像素相似度Fts。利用原型记忆机制增强模型对逻辑缺陷与正常图像差异性的判别能力,提高模型对逻辑缺陷的检测性能,针对传统教师‑学生网络中出现的过检测问题,使用显著性检测网络和柏林噪声合成缺陷图像,提升合成图像与真实缺陷图像的分布一致性。
-
公开(公告)号:CN116824584A
公开(公告)日:2023-09-29
申请号:CN202310804760.7
申请日:2023-07-03
Applicant: 中国矿业大学
IPC: G06V20/70 , G06V10/44 , G06V10/774 , G06V10/82 , G06V10/80 , G06N3/0499 , G06N3/094
Abstract: 本发明公开了一种基于条件变分Transformer和自省对抗学习的多样化图像描述方法,包括:提取图像的区域特征得到输入向量输入至预设的条件变分Transformer模型,得到图像的相应描述语句;该模型包括变分推断编码器和生成器;将模型使用序列化条件自编码中的变分下界机理进行预训练;再采用自省对抗学习策略进行微调,在不额外添加判别器的前提下,通过对抗学习自我评估生成的描述语句来实现图像描述的多样化。本发明采用序列化条件变分自编码架构,与条件变分Transformer模型相结合,解决了模型受限于单一映射的问题;采用自省对抗学习策略,缓解了模型受限于人工评价指标的问题,提升了多样化图像描述的性能。
-
-
-
-
-
-