基于主题引导的Transformer的遥感图像字幕生成方法

    公开(公告)号:CN115035508B

    公开(公告)日:2024-09-27

    申请号:CN202210689905.9

    申请日:2022-06-17

    摘要: 本发明公开了一种基于主题引导的Transformer遥感图像字幕生成方法,主要解决现有技术生成的描述单一,且无法精确表示图像中的语义信息的问题。其实现方案为:搭建一个由Transformer和主题向量组成的主题编码器,并在分类数据集上进行预训练;搭建一个由随机掩码层、嵌入层、Transformer解码器和soft‑max层级联组成的语义解码器;将主题编码器和语义解码器进行连接,得到遥感图像字幕生成网络;设置训练参数,用标准RSICD数据集迭代训练遥感图像字幕生成网络;利用训练好的遥感图像字幕生成网络生成字幕描述。本发明提高了生成描述的多样性和准确性,可用于地物图像检索、灾情预测、图像理解。

    一种基于客户端聚类个性化联邦学习的医学图像分类方法

    公开(公告)号:CN117830746A

    公开(公告)日:2024-04-05

    申请号:CN202410045141.9

    申请日:2024-01-11

    摘要: 本发明公开了一种基于客户端聚类个性化联邦学习的图像分类方法,主要解决现有联邦学习方法对本地数据隐私保护差,在交互学习过程中通信量和计算量高的问题。其实现方案是:从公开数据集中获取结肠病理数据集并对其进行分类处理;根据狄利克雷分布对数据分布程度进行处理;选择Resnet18分类网络作为服务器端和客户端的主干网络模型;通过对客户端模型的训练进行客户端群组划分;通过自适应权重聚合对服务器端模型进行训练;利用训练好的服务器端模型的参数更新客户端模型;利用更新后的客户端模型实现对本地疾病图像数据的分类。本发明可保障数据的隐私安全,降低通信量和计算量,提高分类的准确率,可用于对医疗机构不同病种的医疗图像的分类检测。

    基于多任务学习边缘校正网络的男性盆腔CT分割方法

    公开(公告)号:CN112419348B

    公开(公告)日:2024-02-09

    申请号:CN202011293215.9

    申请日:2020-11-18

    摘要: 本发明公开了一种基于多任务学习边缘校正网络的男性盆腔CT分割方法,主要解决现有分割方法分割精度和效率较低的问题。其实现方案为:获取前列腺癌症病人的CT图像和医生手工勾画的器官标签和边缘标签,并划分训练数据集、验证数据集和测试数据集;构造一个包含残差子模块、边缘校正模块和特征融合模块的边缘校正分割子网络,并与一个用于定位的3D UNet网络串行连接,组成分割模型;使用训练数据集,利用自适应学习率优化算法对分割模型进行训练;将一例盆腔CT图像作为测试数据输入到训练好的分割模型中,得到测试图像的器官分割结果和边缘分割结果。本发明提升了盆腔CT中器官分割的精度和效率,可用于盆腔CT中器官的自动化分割。

    基于属性学习的未知场景遥感图像字幕生成方法

    公开(公告)号:CN117152303A

    公开(公告)日:2023-12-01

    申请号:CN202311075484.1

    申请日:2023-08-25

    摘要: 本发明公开了一种基于属性学习的未知场景遥感图像字幕生成方法,主要解决现有方法只能产生在训练过程中出现过的词语和句子,不能对未知的场景进行准确描述的问题。其实现方案是:搭建一个属性提取器、设置一个可学习的属性标识向量A,并在多标签分类数据集上进行预训练;搭建由属性推理模块和主体词生成模块构成的基于属性学习的解码器;将主题编码器、属性提取器、基于属性学习的解码器级联,构成基于属性学习的未知场景遥感图像字幕生成网络,并对其进行迭代训练;将测试集遥感图像输入到训练好的字幕生成网络生成字幕描述。本发明提高了未知场景下遥感图像的描述准确率,能适应遥感图像的多种场景,可用于地物图像检索、灾情预测及图像理解。

    基于局部和全局区域策略对抗学习的人脸老化方法

    公开(公告)号:CN116993578A

    公开(公告)日:2023-11-03

    申请号:CN202310941541.3

    申请日:2023-07-28

    摘要: 本发明公开了一种基于局部和全局区域策略对抗学习的人脸老化方法,主要解决现有技术使用对抗网络不能够生成具有明显衰老特征的老化人脸问题。其实现方案是:使用人脸关键点识别技术对人脸数据进行检测、对齐和裁剪,并将其划分为训练集和测试集;对训练集和测试集的对每张图片赋予对应的年龄标签;分别构建人脸生成模型、人脸面部总损失及基于个人身份特征的损失函数;采用对抗训练的方法对人脸生成模型进行训练直至面部总损失和特征损失函数收敛;将测试集中的人脸图像加载到训练好的人脸生成模型中生成各年龄阶段的人脸图像。本发明提高了年龄跨度较大的人脸生成图像的衰老特征,可用于协助警察对疑犯踪迹查找、长时间失踪儿童找回及医学整形。

    基于位置引导和一致性学习的腹部多器官增量分割方法

    公开(公告)号:CN116402800A

    公开(公告)日:2023-07-07

    申请号:CN202310381113.X

    申请日:2023-04-11

    摘要: 本发明公开了一种基于位置引导与一致性学习的腹部多器官增量分割方法,主要解决现有技术增量过程复杂且增量性能低的问题。其实现方案是:首先使用一致性学习策略训练基础网络,以第一次分割常见腹部器官肝、肾、脾、胆、胃;随后通过新增解码器、位置引导模块与深度监督模块的方式,将基础网络扩展到位置引导增量网络,训练该网络,以第二次分割肝、肾、脾、胆、胃、胰腺;将位置引导增量网络扩展到位置引导与一致性学习增量网络,训练该网络,以第三次分割肝、肾、脾、胆、胃、胰腺、十二指肠,以此类推,完成腹部多器官增量分割。本发明简化了腹部多器官增量分割过程,提升了腹部多器官增量分割性能,可用于协助医生完成腹部多器官的自动勾画。

    基于跨模态特征增强与置信融合的多光谱行人检测方法

    公开(公告)号:CN116311364A

    公开(公告)日:2023-06-23

    申请号:CN202310211007.7

    申请日:2023-03-07

    摘要: 本发明公开了基于跨模态特征增强与置信融合的多光谱行人检测方法,主要解决现有技术在单模态条件下行人检测漏检率和虚警率较高的问题。其实现方案为:获取可见光图像和红外图像构成数据集,并按8:2的比例将其化分为训练集和测试集;构建由交互共有注意力模块、池化层多尺度自适应融合模块及置信度融合模块依次级联构成的双流行人检测网络;使用训练集通过小批量梯度下降对该双流行人检测网络进行训练,直至网络损失收敛;将测试集输入到训练好的网络中得到多光谱行人检测结果。本发明相较于其他行人检测方法,充分考虑了模态之间的交互关系,降低了漏检率和虚警率,提高了行人检测的准确率,可用于处理复杂环境下的行人目标检测。

    基于分割图引导与正则约束的手部姿势与形状估计方法

    公开(公告)号:CN116152199A

    公开(公告)日:2023-05-23

    申请号:CN202310153013.1

    申请日:2023-02-23

    摘要: 本发明公开了一种基于分割图引导与正则约束的手部姿态与形状估计方法,主要解决现有技术在手物遮挡情况下估计结果准确率较低的问题。其实现方案是:将数据集划分为训练数据集与测试数据集;构建由特征提取主干、正则约束金字塔模块、分割引导模块以及回归模块构成的基于分割图引导与正则约束的手部姿势与形状估计网络;使用训练数据集对该网络进行训练;将测试数据集输入到训练好的网络中得到手部估计结果。本发明通过引入分割引导模块以利用不同可见度的手部分割图辅助手物遮挡下的估计,并通过引入正则约束金字塔模块对网络特征进行约束,相较于现有手部姿势与形状估计方法,显著提高了手部估计效果,可用于手部图像解译的中间处理。

    基于图像金字塔融合的肺部肿瘤CT影像3D分割方法

    公开(公告)号:CN110533667B

    公开(公告)日:2022-12-02

    申请号:CN201910688043.6

    申请日:2019-07-29

    摘要: 本发明提出了一种基于图像金字塔融合的肺部肿瘤CT影像3D分割方法,用于解决现有技术中肺部肿瘤CT影像分割精度低、鲁棒性不高的技术问题。实现步骤为:提取3D肺部肿瘤CT影像A;对3D肺部肿瘤CT影像A进行归一化,得到像素值归一化后的3D肺部肿瘤CT影像B;构建3D肺部肿瘤CT影像B的图像金字塔S;对图像金字塔S中的每一个图像si进行超体素预分割,得到图像金字塔S的预分割区域集合F;对预分割区域集合F中每一个元素Fi的所有超体素预分割区域进行合并,组成图像金字塔分割结果集合L;融合图像金字塔分割结果L,得到最终分割结果Z。本发明提高了肺部肿瘤CT影像分割精度,并且分割结果鲁棒,可用于计算机视觉领域中的肺部肿瘤CT影像分割。