一种基于目标权重的多模态数据增强方法
摘要:
本发明公开了一种基于目标权重的多模态数据增强方法,首先随机获取多对待融合图文对和对应的目标标注文件;将多对待融合图文对中的图像均缩放到统一尺寸,并同步调整对应目标标注文件中各目标的位置信息;遍历每张图像中的目标,每个目标生成一个对应的距离加权权重矩阵,然后根据每个目标的距离加权权重矩阵对多张待融合图像进行权重矩阵的归一化后,根据归一化后的权重矩阵进行图像融合,形成融合图像;最后将多对待融合图文对中的文本进行多种组合排序,得到多个融合文本,将每个融合文本均与融合图像进行组合,从而形成多对融合图文对。本发明具有不破坏多模态数据语义关系、数据多样性强、方法简单易用等优点。
公开/授权文献
0/0