基于多模态图卷积网络的时尚兼容度预测方法

    公开(公告)号:CN114565119A

    公开(公告)日:2022-05-31

    申请号:CN202111412999.7

    申请日:2021-11-25

    IPC分类号: G06Q10/04 G06N3/04 G06K9/62

    摘要: 本发明公开了一种基于多模态图卷积网络的时尚兼容度预测方法,进行服饰单品的多模态信息的挖掘利用;利用服饰属性信息作为高级语义并融合视觉信息引导类别子空间生成,通过动态图卷积网络进行多模态特征数据之间的交互融合;加入自注意机制模块将标题文本特征引入到多模态融合中,最终将服饰单品的多模态特征表示通过时尚兼容度预测器获得服饰套装的兼容度分数。与现有技术相比,本发明通过充分利用服饰单品的视觉、文本及属性等多模态信息,构建时尚兼容度预测器实现兼容度分数的精确计算;为解决时尚兼容度预测问题提供了新的方法思路,有效地增强特征表示能力,保证多模态特征的一致性和完备性。

    基于多模态图卷积网络的时尚兼容度预测方法

    公开(公告)号:CN114565119B

    公开(公告)日:2023-09-26

    申请号:CN202111412999.7

    申请日:2021-11-25

    摘要: 本发明公开了一种基于多模态图卷积网络的时尚兼容度预测方法,进行服饰单品的多模态信息的挖掘利用;利用服饰属性信息作为高级语义并融合视觉信息引导类别子空间生成,通过动态图卷积网络进行多模态特征数据之间的交互融合;加入自注意机制模块将标题文本特征引入到多模态融合中,最终将服饰单品的多模态特征表示通过时尚兼容度预测器获得服饰套装的兼容度分数。与现有技术相比,本发明通过充分利用服饰单品的视觉、文本及属性等多模态信息,构建时尚兼容度预测器实现兼容度分数的精确计算;为解决时尚兼容度预测问题提供了新的方法思路,有效地增强特征表示能力,保证多模态特征的一致性和完备性。