- 专利标题: 一种基于内容选择和引导机制的图像描述文本生成方法
-
申请号: CN202210435607.7申请日: 2022-04-24
-
公开(公告)号: CN114780775A公开(公告)日: 2022-07-22
- 发明人: 杜友田 , 陈中奇 , 沈逸如 , 陈思源 , 张新明
- 申请人: 西安交通大学
- 申请人地址: 陕西省西安市碑林区咸宁西路28号
- 专利权人: 西安交通大学
- 当前专利权人: 西安交通大学
- 当前专利权人地址: 陕西省西安市碑林区咸宁西路28号
- 代理机构: 西安智大知识产权代理事务所
- 代理商 段俊涛
- 主分类号: G06F16/55
- IPC分类号: G06F16/55 ; G06F16/58 ; G06N3/04 ; G06N3/08
摘要:
一种基于内容选择和引导机制的图像描述文本生成方法,构建模型数据集;提取图像视觉信息特征、图像语义信息特征和图像空间几何信息特征;构建特征融合网络,将图像视觉信息特征、图像语义信息特征和图像空间几何信息特征有效融合;设置内容选择和引导机制,对特征进行筛选,增强有效信息特征,筛除冗余信息特征,并将有效特征信息准确引导至文本生成模型;构建文本生成模型,将编码特征以时序的方式生成描述文本。本发明通过建模图像和文本之间的潜在对齐关系,提高了图像描述文本生成的准确性。
公开/授权文献
- CN114780775B 一种基于内容选择和引导机制的图像描述文本生成方法 公开/授权日:2024-07-19