一种文本生成视频的网络模型、方法及装置

    公开(公告)号:CN115249062A

    公开(公告)日:2022-10-28

    申请号:CN202211154367.X

    申请日:2022-09-22

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于知识蒸馏和视觉循环单元的文本生成视频网络模型、方法及装置。首先公开了一种通过知识蒸馏从文本生成图像模型获取知识增强文本生成视频模型效果的方法。将文本生成图像模型作为教师网络,从中蒸馏文本到视觉内容映射的知识,这些知识作为生成视频中每一帧共享的抽象约束,从而提升生成每一帧的文本图像语意一致性。同时本发明公开了一种视觉循环单元,该模块迭代地根据输入文本和先前生成的帧预测下一帧,旨在改善视频的时序连贯性。

    一种生成对抗网络判别器及文本生成图像的方法

    公开(公告)号:CN114419348A

    公开(公告)日:2022-04-29

    申请号:CN202210266864.2

    申请日:2022-03-18

    Applicant: 武汉大学

    Inventor: 肖春霞 方菲 罗飞

    Abstract: 本发明公开了一种生成对抗网络判别器及文本生成图像的方法,通过从三个方面对判别器进行设计,首先,提出了一种多样性敏感条件鉴别器,它通过判断生成的图像与不匹配文本的组合为假来增加生成图像的多样性。其次,对于非条件判别器,提出了一种对比搜索策略来衡量生成图像的真实感,并惩罚梯度以稳定训练过程。最后,用判别器作为特征提取器,引入了多层次图片相似度损失,进一步提高了训练图像和生成图像与目标之间的高级特征相似度。大量的实验结果和消融研究表明,对判别器的改进可以有效地提高生成图像的质量。

    一种基于RGB-D图像的交互式重光照编辑方法

    公开(公告)号:CN113920036A

    公开(公告)日:2022-01-11

    申请号:CN202111520120.0

    申请日:2021-12-14

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于RGB‑D图像的交互式重光照编辑方法。首先对输入的图像进行预处理,获取无阴影的反射率图、明暗图以及阴影图;利用MaskRCNN算法对原始RGB图像进行分割,获取场景中物体的分割掩模,然后获取相应的局部深度图、无阴影的反射率图、无阴影的明暗图;将无阴影的明暗图分解为全局和局部的光照细节图和球谐光照图;分别对全局和局部的球谐光照图进行采样、可视化并通过交互式编辑,获取调节后的全局和局部的球谐光照图;根据全局和局部的无阴影的反射率图、调节后的球谐光照图、阴影图合成得到环境光编辑后的全局和局部的RGB重光照图像并输出。能够有效、便捷和直观地实现低光条件下室内复杂场景图像增强。

    一种基于两阶段图像上下文识别网络及单图像阴影去除方法

    公开(公告)号:CN113379634A

    公开(公告)日:2021-09-10

    申请号:CN202110677383.6

    申请日:2021-06-18

    Applicant: 武汉大学

    Abstract: 本发明涉及图像光照编辑领域,提供了一种基于两阶段图像上下文识别网络及单图像阴影去除方法。该方法显式地捕获阴影图像中隐式存在的阴影与非阴影图像对关系并根据该匹配对关系来进行图像的上下文信息特征迁移从而将有用的非阴影区域的信息迁移至非阴影区域,有效地消除图像中的阴影。解决了当前阴影去除结果不准确,存在一些如处理结果颜色扭曲,泛化能力较差的问题,同时实现了对单幅图像进行的高质量的阴影去除。

    一种肺结节生长预测方法和计算机设备

    公开(公告)号:CN113378929A

    公开(公告)日:2021-09-10

    申请号:CN202110651608.0

    申请日:2021-06-11

    Applicant: 武汉大学

    Abstract: 本发明提供了一种肺结节生长预测方法和计算机设备,肺结节生长预测方法包括:获取若干肺部CT图像,得到若干标注图像;将若干标注图像输入编码器得到若干初始特征图像;将若干初始特征图像输入级联convLSTM网络得到若干初始预测特征图像;将若干初始预测特征图像输入解码器得到若干候选预测特征图像;基于若干候选预测特征图像和分类器得到若干预测图像。本发明中,根据过去多个时间点的若干肺部CT图像,采用级联convLSTM网络确定肺结节在未来多个时间点的预测图像,不需要测量肺部CT图像中的大量数字特征,也不需要筛选肺结节生成因素,整个过程减少了大量人力资源,操作步骤更为简单,可以快速得到质量较高的预测图像。

    一种基于深度学习的视频阴影检测与消除方法

    公开(公告)号:CN113378775A

    公开(公告)日:2021-09-10

    申请号:CN202110723932.9

    申请日:2021-06-29

    Applicant: 武汉大学

    Abstract: 本发明涉及视频处理技术领域,提出了一种基于深度学习的视频阴影检测与消除方法。该方法首先使用残差连接优化检测与关键帧提取光流补全相结合的方法进行视频阴影检测,再采用一个基于内部学习的保纹理方法进行视频阴影消除,通过光流计算中间帧,设置仿射变换损失以及视频一致性损失等加强对视频中时序信息的利用,从而保持视频处理结果的时空一致性,获取更真实可靠的处理结果。本发明通过给定输入的RGB阴影视频,对视频信息进行分析处理,能够准确地将视频中的阴影区域检测出来,并且将其阴影部分的光照信息修复成与没有阴影部分的光照一致,从而实现良好的阴影消除效果。

    一种生成对抗网络判别器及文本生成图像的方法

    公开(公告)号:CN114419348B

    公开(公告)日:2024-12-20

    申请号:CN202210266864.2

    申请日:2022-03-18

    Applicant: 武汉大学

    Inventor: 肖春霞 方菲 罗飞

    Abstract: 本发明公开了一种生成对抗网络判别器及文本生成图像的方法,通过从三个方面对判别器进行设计,首先,提出了一种多样性敏感条件鉴别器,它通过判断生成的图像与不匹配文本的组合为假来增加生成图像的多样性。其次,对于非条件判别器,提出了一种对比搜索策略来衡量生成图像的真实感,并惩罚梯度以稳定训练过程。最后,用判别器作为特征提取器,引入了多层次图片相似度损失,进一步提高了训练图像和生成图像与目标之间的高级特征相似度。大量的实验结果和消融研究表明,对判别器的改进可以有效地提高生成图像的质量。

    一种基于SDF场可微渲染的透明物体重建的方法及系统

    公开(公告)号:CN113888694B

    公开(公告)日:2024-10-01

    申请号:CN202111050357.7

    申请日:2021-09-08

    Applicant: 武汉大学

    Abstract: 本发明提供了一种基于SDF场可微渲染的透明物体重建的方法及系统。通过拍摄全景图和需要标定的内含透明物体的照片,利用全景图和内含透明物体照片的相机标定技术获得旋转矩阵,通过空间雕刻算法获得透明物体的初始形状。通过SDF(Signed Distance Fields)表示初始形状,提出可微的光线追踪算法渲染透明物体三维模型的在任意视角和环境图中图像,通过最小化输入图像和渲染图像的损失函数,逐渐优化透明物体的三维模型。在合成和真实数据集上验证提出的方法,结果表明此方法可以重建更准确的模型与输入图像几乎相同的外观。

Patent Agency Ranking