公开(公告)号：CN117350926A

公开(公告)日：2024-01-05

申请号：CN202311642069.X

申请日：2023-12-04

申请人： 北京航空航天大学合肥创新研究院

发明人： 赵洪博 ,  王广彪 ,  吕书畅 ,  李博 ,  周正 ,  常青 ,  冯文全

IPC分类号： G06T5/50 ,  G06T11/60

摘要： 本发明公开了一种基于目标权重的多模态数据增强方法，首先随机获取多对待融合图文对和对应的目标标注文件；将多对待融合图文对中的图像均缩放到统一尺寸，并同步调整对应目标标注文件中各目标的位置信息；遍历每张图像中的目标，每个目标生成一个对应的距离加权权重矩阵，然后根据每个目标的距离加权权重矩阵对多张待融合图像进行权重矩阵的归一化后，根据归一化后的权重矩阵进行图像融合，形成融合图像；最后将多对待融合图文对中的文本进行多种组合排序，得到多个融合文本，将每个融合文本均与融合图像进行组合，从而形成多对融合图文对。本发明具有不破坏多模态数据语义关系、数据多样性强、方法简单易用等优点。

公开(公告)号：CN117350926B

公开(公告)日：2024-02-13

申请号：CN202311642069.X

申请日：2023-12-04

申请人： 北京航空航天大学合肥创新研究院

发明人： 赵洪博 ,  王广彪 ,  吕书畅 ,  李博 ,  周正 ,  常青 ,  冯文全

IPC分类号： G06T5/50 ,  G06T11/60

摘要： 本发明公开了一种基于目标权重的多模态数据增强方法，首先随机获取多对待融合图文对和对应的目标标注文件；将多对待融合图文对中的图像均缩放到统一尺寸，并同步调整对应目标标注文件中各目标的位置信息；遍历每张图像中的目标，每个目标生成一个对应的距离加权权重矩阵，然后根据每个目标的距离加权权重矩阵对多张待融合图像进行权重矩阵的归一化后，根据归一化后的权重矩阵进行图像融合，形成融合图像；最后将多对待融合图文对中的文本进行多种组合排序，得到多个融合文本，将每个融合文本均与融合图像进行组合，从而形成多对融合图文对。本发明具有不破坏多模态数据语义关系、数据多样性强、方法简单易用等优点。(56)对比文件CN 113781375 A,2021.12.10CN 114095700 A,2022.02.25CN 114241372 A,2022.03.25CN 114549969 A,2022.05.27CN 115546595 A,2022.12.30CN 116577796 A,2023.08.11CN 117132513 A,2023.11.28朱凌云;郑志天.基于显著性权重融合的图像拼接算法.电子制作.2019,(第24期),第51-52页.康丽萍;孙显;许光銮.加权KNN的图文数据融合分类.中国图象图形学报.2016,(第07期),第24-34页.Ming Lv 等.Distance-Weighted RegionalEnergy and Structure Tensor in NSCTDomain《.Sensors (Basel)》.2023,第23卷(第10期),曾顶 等.基于融合距离的极化SAR图像非局部均值滤波《.系统工程与电子技术》.2023,第1-14页.朱凌云;郑志天.基于显著性权重融合的图像拼接算法.电子制作.2019,(第24期),第51-52页.