-
公开(公告)号：CN120031718A
公开(公告)日：2025-05-23
申请号：CN202510111785.8
申请日：2025-01-24
Applicant: 哈尔滨工业大学
IPC: G06T3/4053 , G06T3/4046 , G06N3/0475 , G06N3/0455 , G06N3/08
Abstract: 本发明涉及一种基于文本信息指导的人脸超分辨率方法，包括以下步骤：步骤一、文本描述生成：通过多模态大语言模型生成文本描述；步骤二、潜在空间编码：将低分辨率人脸图像和文本描述映射到潜在特征空间，利用预训练的编码器对图像进行紧凑表示；步骤三、文本信息融合：通过基于交叉注意力机制的方法，将生成的文本描述嵌入到视觉特征处理过程中，形成文本‑视觉联合表示；步骤四、残差扩散生成模块：在潜在空间中，通过残差连接的马尔可夫链实现低分辨率到高分辨率图像的生成；步骤五、文本感知损失优化：通过最小化潜在空间恢复误差和文本一致性误差，优化生成结果的图像质量和语义一致性。相较于其他生成模型，TFSR具有最少的参数量、最高的采样效率和最佳的FID分数。
-
公开(公告)号：CN118968579A
公开(公告)日：2024-11-15
申请号：CN202410903224.7
申请日：2024-07-08
Applicant: 哈尔滨工业大学
Abstract: 本发明提出一种基于用户提示的音频驱动数字人生成系统及方法，其中系统包括：数据库模块、音频特征提取模块、AIGC生成人脸画像模块、Audioface模块、基于音频驱动的人脸图像模块和基于音频驱动的数字人动作生成模块。本发明实现了基于用户提示的音频驱动数字人生成，根据用户的输入提示实现内容生成，赋予了数字人高度的个性化特征和自然性行为表现，使得本发明具有重要的应用价值和前景，随着相关领域的不断发展和完善，本发明能为数字娱乐、虚拟现实、人机交互等领域带来更加丰富的体验和应用场景。
-
公开(公告)号：CN114092327B
公开(公告)日：2024-06-07
申请号：CN202111288667.2
申请日：2021-11-02
Applicant: 哈尔滨工业大学
IPC: G06T3/4053 , G06T3/4046 , G06N3/0464 , G06N3/045 , G06N3/096
Abstract: 本发明提出一种利用异构知识蒸馏的高光谱图像超分辨率方法，给定一个低分辨率的高光谱图像输入ILR∈RL×H×W，经过浅层特征提取，在面向蒸馏的双分支模块DODB上的非线性映射，上采样过程，最终输出一个高分辨率的高光谱图像ISR∈RL×sH×sW；并使用异构知识蒸馏来提升模型性能，蒸馏作用于两个模型的2D特征之间，异构知识蒸馏问题转移到SHSR模型内部的融合问题，将传递的信息视为反馈信息，分别对每个频段的特征进行细化，将特征分为蒸馏部分和保留部分；在定量和定性上获得更好的性能，并重建相对高质量的高光谱图像。
-
公开(公告)号：CN114155145B
公开(公告)日：2024-05-17
申请号：CN202111338122.8
申请日：2021-11-12
Applicant: 哈尔滨工业大学
IPC: G06T3/4053 , G06T5/50
Abstract: 本发明提供了一种基于深度展开网络的空谱同时超分辨率重建方法。步骤1：确定图像退化模型；步骤2：将单张图像超分和光谱超分的观测模型结合到空间光谱超分辨率模型中；步骤3：利用交替方向乘子法ADMM求解基于模型的能量函数；步骤4：将步骤3的ADMM算法的迭代过程展开成一个多级网络；步骤5：利用步骤4的多级网络解决在空间和光谱上产生超分辨率结果。本发明用以解决现有技术中空间分辨率和光谱分辨率不高的问题。
-
公开(公告)号：CN112070660B
公开(公告)日：2022-08-12
申请号：CN202010935487.8
申请日：2020-09-08
Applicant: 哈尔滨工业大学
Abstract: 本发明属于生物医疗仪器领域，具体涉及一种基于迁移学习的全切片数字成像自适应自动聚焦方法：本方法提出了一种基于神经网络迁移学习方法，主要包含自动聚焦网络；设计的自动聚焦网络可根据离焦图像解算出准焦距离；采用迭代方式，逐次添加新数据集下的数据进行迁移学习的训练；通过采用迁移学习训练的方式，可以让自动聚焦网络具有可满足需求的泛化性和自适应性，能够实现对不同生物细胞样品的数据采集，对传统的全切片数字病理成像硬件进行了软件虚拟化。
-
Patent Agency Ranking
公开(公告)号：CN113313663A
公开(公告)日：2021-08-27
申请号：CN202110644185.X
申请日：2021-06-09
Applicant: 哈尔滨工业大学
Abstract: 本发明提出基于零样本学习的多聚焦图像融合方法，使用多聚焦图像融合网络结构IM‑Net将输入的多聚焦图像中包含的信息进行融合，IM‑Net包括两个联合的子网络I‑Net和M‑Net，I‑Net对融合图像的深度先验建模，M‑Net对聚焦图的深度先验建模，通过提取的先验信息实现零样本学习，对IM‑Net施加了重构约束，以确保可以将源图像对的信息更好地传输到融合图像，高层语义信息可保持相邻像素的亮度一致性，并且引导损失为IM‑Net查找清晰区域提供了指导信息，实验结果表明了本发明方法的有效性。
-
公开(公告)号：CN112070887A
公开(公告)日：2020-12-11
申请号：CN202010934437.8
申请日：2020-09-08
Applicant: 哈尔滨工业大学
Abstract: 本发明基于生物医疗仪器领域，具体涉及一种基于深度学习的全切片数字成像景深扩展法，主要设计了虚拟景深扩展网络；病理扫描仪先预扫描病理切片视场中间的一个图像块，通过轴向移动构建轴向三维图像堆栈，通过评价函数找到初始准焦图像；在预测准焦距离下，对所有子图像进行单次拍照，获得单次拍照试探性离焦图像，作为网络输入；网络的输出为景深扩展图像；通过单张图像的端对端网络设计，本方法实现了基于深度学习的全切片数字成像景深扩展，避免了景深受限导致的成像模糊问题，对传统的全切片数字病理成像硬件进行了软件虚拟化。同时，不需构建准焦测量图以及准焦扫描拍照，具有速度快、成本低、可线下处理等优点。
-
公开(公告)号：CN112037153A
公开(公告)日：2020-12-04
申请号：CN202010934429.3
申请日：2020-09-08
Applicant: 哈尔滨工业大学
Abstract: 本发明基于生物医疗仪器领域，具体涉及一种基于准焦距离先验的全切片数字成像准焦复原方法：本方法提出了一种基于准焦距离先验的全切片数字成像准焦复原方法，主要包含自动聚焦网络和基于先验的准焦网络；设计的自动聚焦网络能够预测出离焦图像对应的准焦距离；设计的基于先验的准焦复原网络，采用预测的准焦距离作为网络的额外输入，为准焦复原网络过程的实现提供了约束信息；通过准焦图像和预测的准焦距离的双通道联合端对端网络设计，本方法实现了全切片数字成像的快速准焦图像复原，取代了传统的先距离补偿，后拍照的自准焦方法，对传统的全切片数字病理成像硬件进行了软件虚拟化。
-
公开(公告)号：CN120070202A
公开(公告)日：2025-05-30
申请号：CN202510124896.2
申请日：2025-01-27
Applicant: 哈尔滨工业大学
IPC: G06T5/50 , G06T5/60 , G06T5/70 , G06F18/25 , G06N3/0455 , G06N3/0985
Abstract: 本发明涉及一种逆扩散模型的多模态图像融合方法，包括以下步骤：步骤一、利用逆扩散技术，将可见光图像逆转至噪声潜在空间，然后利用逆转后的可见光图像特征，引导红外图像进行逆转；步骤二、通过扩散模型中的逆过程进行引导，将可见光的外观属性的注入红外特征，其特征可生成具有可见光风格的红外图像；步骤三、设计特定的融合规则，用于去噪过程中的注意层融合逆转的可见光和红外特征，保留模型的文本交互能力，支持语言驱动的融合控制。本发明无需额外训练或微调，即可直接生成高质量的融合图像。得到的融合图像与基础模型高度兼容，有效解决了数据域间的差异问题，并显著提升了下游机器感知任务的表现。本发明显著降低了训练成本，为跨域任务提供了高效且创新的解决方案。
-
公开(公告)号：CN116051375B
公开(公告)日：2025-05-06
申请号：CN202310000876.5
申请日：2023-01-03
Applicant: 哈尔滨工业大学
IPC: G06T3/4053 , G06V10/44 , G06V10/82 , G06N3/08 , G06V10/774
Abstract: 本发明提出一种基于全逐点卷积的轻量级图像超分辨率方法。与一般的3×3卷积相比，逐点卷积包含的参数更少，计算成本也更低，但缺失了局部特征融合这一关键特性。为了解决这个问题，本发明通过空间移位操作扩展了逐点卷积，通过特征聚合使其具有了特征聚合的能力，而且空间移位操作没有额外计算成本。基于移位卷积，本发明替换标准残差结构中的3×3卷积，并提出了移位残差单元。通过堆叠不同规模的移位残差单元实现了不同模型大小的移位卷积网络SCNet。最后在多个公开测试数据集上结果表明本发明提出的SCNet方法均取得了最好的结果。此外，本发明也通过详细的消融分析，验证了本发明提出的不同模块的有效性。
-
-
-
-
-
-
-
-
-
Search Results
48
records
(took 0.023 seconds)
