一种基于多模态图卷积的影像推荐系统及方法
摘要:
本发明所述一种基于多模态图卷积的影像推荐系统及方法,属于计算机技术领域。本发明综合利用图卷积对多模态特征聚合的方法,基于图卷积架构针对用户偏好实现影视作品的推荐。本方法首先通过爬虫算法,获取同一个用户对影视作品的评价记录、影视作品相关海报等信息;对数据集进行预处理,使用MixGen方法对数据进行增强,对数据集进行扩充;使用线性变换等方法将图像数据模态和文本数据模态表示为向量形式;对不同模态的信息进行提取,分别获取多模态中文本模态和图像数据模态的向量表示;利用图卷积对同一个模态进行层内和层间节点聚合,提取用户对电影的细粒度意图;利用层间聚合建立细粒度和粗粒度用户意图之间的关系,对不同模态的处理都建立超级节点结合;将聚合得到各模态的特征通过一个注意力机制层,增强不同模态之间的交互,最终获取影视作品推荐列表。本发明解决了现有的多模态推荐系统难以很好的在特定模式下对用户偏好建模以及不同模态数据难以进行交互的问题。
公开/授权文献
0/0