公开(公告)号：CN117574904A

公开(公告)日：2024-02-20

申请号：CN202311638025.X

申请日：2023-12-02

Applicant: 嵩山实验室 ,  郑州轻工业大学 ,  华北水利水电大学

Inventor： 马江涛 ,  乔亚琼 ,  王艳军 ,  晋文朵 ,  钱慎一 ,  张帆 ,  李祖贺 ,  马宇科 ,  程佳 ,  李霆 ,  李坤霖 ,  刘博 ,  卫梦屹 ,  孙一帆

IPC: G06F40/295 ,  G06F40/211 ,  G06F40/216 ,  G06F18/25 ,  G06F18/214 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/0895 ,  G06V10/30 ,  G06V10/44

Abstract: 本发明提出了一种基于对比学习和多模态语义交互的命名实体识别方法，步骤为：使用MobileViT模型对文本‑图像对的图像进行图像特征提取得到图像表示；使用图像描述生成模型生成图像描述，使用ALBERT模型对文本和图像描述进行文本特征提取得到文本表示；通过对比学习在共享空间中对齐文本表示和图像表示；采用多头跨模态注意力通过图像描述来引导文本融合，给图像表示分配不同的权重进行文本引导的图像模态融合；拼接，到图像与文本的最终融合；将最终融合输入到CRF层使用条件随机场算法进行标签预测得到标签值。本发明实现了文本和图像之间语义信息的有效融合，同时抑制了多模态交互中的不完整或错误的语义信息，提高了预测的准确性。

公开(公告)号：CN118036749A

公开(公告)日：2024-05-14

申请号：CN202410233369.0

申请日：2024-03-01

Applicant: 郑州轻工业大学 ,  嵩山实验室

Inventor： 马江涛 ,  李坤霖 ,  乔亚琼 ,  韩文杰 ,  张帆 ,  马宇科 ,  程佳 ,  王艳军

IPC: G06N5/04 ,  G06N5/022 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/042 ,  G06N3/082

Abstract: 本发明提出了一种基于拓扑感知的动态关系图和时序融合的时序知识图谱外推方法，用以现有方法无法捕获共现事实的结构信息、拓扑子图的关系信息以及时间戳间融合的时间信息的技术问题。本发明的步骤为：设计一种新奇的基于注意力机制的关系图卷积神经网络模型作为结构依赖编码器，获得共现事实的结构信息；设计拓扑感知的关系相关性单元，通过边级相关性网络学习不同模式的拓扑关系图，进而得到关系嵌入；将结构信息和关系嵌入送入双门控机制来融合时序信息；通过时间解码模块来完成对未来的预测任务。对四个基准数据集的大量实验表明，本发明从性能的优越性、有效性和各模块的奠基性三个方面都适用于外推问题，且优于最先进的时序知识图谱外推模型。

公开(公告)号：CN115905568A

公开(公告)日：2023-04-04

申请号：CN202211450170.0

申请日：2022-11-19

Applicant: 郑州轻工业大学 ,  华北水利水电大学

Inventor： 马江涛 ,  乔亚琼 ,  贾泽臣 ,  张超钦 ,  王艳军 ,  李祖贺 ,  庾骏 ,  张勋才 ,  李璞 ,  李玉华 ,  周辰宇 ,  马宇科 ,  李霆 ,  晋文朵 ,  程佳

IPC: G06F16/36 ,  G06F16/901 ,  G06N3/08 ,  G06N3/045 ,  G06N3/047

Abstract: 本发明提出了一种上下文感知的知识图谱补全方法，步骤为：根据实体对的知识图谱子图，边感知的关系消息传递机制计算不同实体的邻居边的权重，利用邻居关系权重对关系的状态进行加权结合，获取实体对的邻居边表示；上下文感知的路径注意机制学习实体对之间的关系路径得到实体对之间所有关系路径的表示；根据实体对的邻居边表示计算每条关系路径的权重，利用权重对关系路径的表示进行加权求和获得实体对的关系路径表示；计算实体对之间关系的概率分布，利用概率分布构建损失函数进行训练，得到补全模型。本发明可以捕获实体邻居边重要程度的差异，减轻了噪声路径的影响，实验结果表明，在链路预测任务上优于其他基线方法，且具有更好的解释能力。

公开(公告)号：CN116796833A

公开(公告)日：2023-09-22

申请号：CN202310705117.9

申请日：2023-06-14

Applicant: 郑州轻工业大学

Inventor： 马江涛 ,  周辰宇 ,  王艳军 ,  李祖贺 ,  张秋闻 ,  庾骏 ,  李璞 ,  李玉华 ,  张勋才 ,  马宇科 ,  李霆 ,  晋文朵 ,  程佳 ,  刘博 ,  李坤霖 ,  孙一帆 ,  卫梦屹 ,  付一龙

IPC: G06N5/02 ,  G06N3/044 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明提出了一种基于交替归纳的知识图谱关系预测方法，其步骤如下：初始化知识图谱中每个实体的子图；使用子图序列化模型将子图转化为序列，学习序列化特征得到状态序列；使用偏好强化模型学习子图之间的共同偏好的权重，利用权重表示实体和尾实体的潜在子图；使用交替聚合模型处理潜在子图归纳不同的归纳子图，通过归纳子图之间的得分预测实体之间的关系并输出。本发明通过在知识图谱中学习候选实体周围的子图来预测关系，避免学习嵌入任何特定实体，可以在推理阶段处理新的看不见的实体；通过学习单个子图中层级之间的潜在关联和不同子图之间的共性来预测推测未知实体之间的关系，提高了知识图谱关系预测的效果和效率，提高了知识图谱质量。

公开(公告)号：CN118798331A

公开(公告)日：2024-10-18

申请号：CN202410756898.9

申请日：2024-06-12

Applicant: 郑州轻工业大学

Inventor： 马江涛 ,  周辰宇 ,  王艳军 ,  李祖贺 ,  张秋闻 ,  庾骏 ,  李璞 ,  李玉华 ,  张勋才 ,  马宇科 ,  李霆 ,  晋文朵 ,  程佳 ,  刘博 ,  李坤霖 ,  孙一帆 ,  卫梦屹 ,  付一龙

IPC: G06N5/02 ,  G06N3/0442 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明提出了一种基于交替归纳子图序列和共同偏好的知识图谱关系预测方法，其步骤如下：初始化知识图谱中每个实体的子图；使用子图序列化模型将子图转化为序列，学习序列化特征得到状态序列；使用偏好强化模型学习子图之间的共同偏好的权重，利用权重表示实体和尾实体的潜在子图；使用交替聚合模型处理潜在子图归纳不同的归纳子图，通过归纳子图之间的得分预测实体之间的关系并输出。本发明通过在知识图谱中学习候选实体周围的子图来预测关系，避免学习嵌入任何特定实体，可以在推理阶段处理新的看不见的实体；通过学习单个子图中层级之间的潜在关联和不同子图之间的共性来预测推测未知实体之间的关系，提高了知识图谱关系预测的效果和效率，提高了知识图谱质量。