发明公开
- 专利标题: 一种基于Transformer的物体语义边界分割方法
-
申请号: CN202410275056.1申请日: 2024-03-11
-
公开(公告)号: CN118379488A公开(公告)日: 2024-07-23
- 发明人: 杜振龙 , 顾伟 , 李晓丽 , 陈东
- 申请人: 南京工业大学
- 申请人地址: 江苏省南京市江北新区浦珠南路30号南京工业大学
- 专利权人: 南京工业大学
- 当前专利权人: 南京工业大学
- 当前专利权人地址: 江苏省南京市江北新区浦珠南路30号南京工业大学
- 主分类号: G06V10/26
- IPC分类号: G06V10/26 ; G06V10/80 ; G06V10/82 ; G06N3/0455 ; G06N3/08
摘要:
本发明公布了一种基于Transformer的物体语义边界分割方法,通过综和利用图像全局上下文特征和局部特征以提取清晰的物体语义边界。方法包括全局上下文特征提取和局部特征抽取。使用全局transformer编码器获取从粗粒度图像划分区域集全局上下文特征;应用局部transformer编码器对区域细分的子区域集抽取局部特征。Transformer编码器由多个子transformer编码器构成,子transformer编码器包含多头自注意力操作MSA、多层感知器MLP和两个归一化层LN。通过特征融合将全局上下文特征和局部特征融合,输入决策头中进行语义边界预测。本发明所述包括三个主要模块,1)使用全局transformer编码器抽取粗粒度图像划分区域集的全局上下文特征;2)使用局部transformer编码器在细粒度的图像划分区域抽取局部特征;3)通过特征融合模块将全局上下文特征和局部特征融合,输入决策头进行边缘预测。