发明公开
- 专利标题: 一种基于目标权重的多模态数据增强方法
-
申请号: CN202311642069.X申请日: 2023-12-04
-
公开(公告)号: CN117350926A公开(公告)日: 2024-01-05
- 发明人: 赵洪博 , 王广彪 , 吕书畅 , 李博 , 周正 , 常青 , 冯文全
- 申请人: 北京航空航天大学合肥创新研究院
- 申请人地址: 安徽省合肥市新站高新区魏武路999号
- 专利权人: 北京航空航天大学合肥创新研究院
- 当前专利权人: 北京航空航天大学合肥创新研究院
- 当前专利权人地址: 安徽省合肥市新站高新区魏武路999号
- 代理机构: 合肥安禾知识产权代理事务所
- 代理商 韩燕
- 主分类号: G06T5/50
- IPC分类号: G06T5/50 ; G06T11/60
摘要:
本发明公开了一种基于目标权重的多模态数据增强方法,首先随机获取多对待融合图文对和对应的目标标注文件;将多对待融合图文对中的图像均缩放到统一尺寸,并同步调整对应目标标注文件中各目标的位置信息;遍历每张图像中的目标,每个目标生成一个对应的距离加权权重矩阵,然后根据每个目标的距离加权权重矩阵对多张待融合图像进行权重矩阵的归一化后,根据归一化后的权重矩阵进行图像融合,形成融合图像;最后将多对待融合图文对中的文本进行多种组合排序,得到多个融合文本,将每个融合文本均与融合图像进行组合,从而形成多对融合图文对。本发明具有不破坏多模态数据语义关系、数据多样性强、方法简单易用等优点。
公开/授权文献
- CN117350926B 一种基于目标权重的多模态数据增强方法 公开/授权日:2024-02-13