公开(公告)号：CN113221882A

公开(公告)日：2021-08-06

申请号：CN202110512070.5

申请日：2021-05-11

Applicant: 西安交通大学

Inventor： 张玲玲 ,  吴文俊 ,  杨宽 ,  刘均 ,  郑庆华 ,  魏笔凡 ,  胡欣 ,  王绍伟 ,  王佳欣

IPC: G06K9/32 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向课程领域的图像文本聚合方法及系统，将对象特征及邻接矩阵作为输入构建图像对应的对象关系图，利用图卷积神经网络更新关系图中节点的特征；将所有语块特征向量的集合作为整个文本描述的特征表示；以对象特征集合和步语块特征集合作为输入，构建图文对之间的局部相似度矩阵；计算整个课程领域图像和文本描述之间的全局相似度；通过梯度下降法训练图文匹配模型的参数，通过已学习到的参数得出全局相似度最高的一段文本描述作为和该张图像相匹配的描述文本，实现图像文本聚合。本发明能够有效提取课程领域图像和文本描述的特征，从而将课程领域示意图和文本知识碎片聚合，进而自动化构建跨模态的知识碎片。

公开(公告)号：CN113221882B

公开(公告)日：2022-12-09

申请号：CN202110512070.5

申请日：2021-05-11

Applicant: 西安交通大学

Inventor： 张玲玲 ,  吴文俊 ,  杨宽 ,  刘均 ,  郑庆华 ,  魏笔凡 ,  胡欣 ,  王绍伟 ,  王佳欣

IPC: G06V30/18 ,  G06V30/19 ,  G06V10/25 ,  G06V10/82 ,  G06V10/774 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向课程领域的图像文本聚合方法及系统，将对象特征及邻接矩阵作为输入构建图像对应的对象关系图，利用图卷积神经网络更新关系图中节点的特征；将所有语块特征向量的集合作为整个文本描述的特征表示；以对象特征集合和步语块特征集合作为输入，构建图文对之间的局部相似度矩阵；计算整个课程领域图像和文本描述之间的全局相似度；通过梯度下降法训练图文匹配模型的参数，通过已学习到的参数得出全局相似度最高的一段文本描述作为和该张图像相匹配的描述文本，实现图像文本聚合。本发明能够有效提取课程领域图像和文本描述的特征，从而将课程领域示意图和文本知识碎片聚合，进而自动化构建跨模态的知识碎片。