公开(公告)号：CN117877029A

公开(公告)日：2024-04-12

申请号：CN202311759998.9

申请日：2023-12-19

Applicant: 华南理工大学

Inventor： 江宗源 ,  金连文 ,  高学 ,  黄俊

IPC: G06V20/70 ,  G06V10/22 ,  G06V10/26 ,  G06V10/44 ,  G06V10/52 ,  G06V10/75 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于基础模型的指代图像分割方法、装置及存储介质，属于人工智能技术领域。其中方法包括：获取图像、文本作为输入数据，以及将文本对应的目标掩码作为标签数据；构建指代图像分割神经网络；通过图像编码器和文本编码器分别提取图像特征和文本特征；将图像特征与全局文本特征进行融合，获得第一多模态特征；将第一多模态特征与序列文本特征进行融合，获得第二多模态特征；根据第二多模态特征，采用稀疏点采样方法对目标的边界点进行单独地监督，获得输出掩码；计算输出掩码与目标掩码的损失，根据损失训练指代图像分割神经网络。本发明能够解决指代图像分割任务中无法得到高精度分割掩码的问题，提高了指代图像分割性能。