公开(公告)号：CN117574904A

公开(公告)日：2024-02-20

申请号：CN202311638025.X

申请日：2023-12-02

Applicant: 嵩山实验室 ,  郑州轻工业大学 ,  华北水利水电大学

Inventor： 马江涛 ,  乔亚琼 ,  王艳军 ,  晋文朵 ,  钱慎一 ,  张帆 ,  李祖贺 ,  马宇科 ,  程佳 ,  李霆 ,  李坤霖 ,  刘博 ,  卫梦屹 ,  孙一帆

IPC: G06F40/295 ,  G06F40/211 ,  G06F40/216 ,  G06F18/25 ,  G06F18/214 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/0895 ,  G06V10/30 ,  G06V10/44

Abstract: 本发明提出了一种基于对比学习和多模态语义交互的命名实体识别方法，步骤为：使用MobileViT模型对文本‑图像对的图像进行图像特征提取得到图像表示；使用图像描述生成模型生成图像描述，使用ALBERT模型对文本和图像描述进行文本特征提取得到文本表示；通过对比学习在共享空间中对齐文本表示和图像表示；采用多头跨模态注意力通过图像描述来引导文本融合，给图像表示分配不同的权重进行文本引导的图像模态融合；拼接，到图像与文本的最终融合；将最终融合输入到CRF层使用条件随机场算法进行标签预测得到标签值。本发明实现了文本和图像之间语义信息的有效融合，同时抑制了多模态交互中的不完整或错误的语义信息，提高了预测的准确性。

公开(公告)号：CN115905568A

公开(公告)日：2023-04-04

申请号：CN202211450170.0

申请日：2022-11-19

Applicant: 郑州轻工业大学 ,  华北水利水电大学

Inventor： 马江涛 ,  乔亚琼 ,  贾泽臣 ,  张超钦 ,  王艳军 ,  李祖贺 ,  庾骏 ,  张勋才 ,  李璞 ,  李玉华 ,  周辰宇 ,  马宇科 ,  李霆 ,  晋文朵 ,  程佳

IPC: G06F16/36 ,  G06F16/901 ,  G06N3/08 ,  G06N3/045 ,  G06N3/047

Abstract: 本发明提出了一种上下文感知的知识图谱补全方法，步骤为：根据实体对的知识图谱子图，边感知的关系消息传递机制计算不同实体的邻居边的权重，利用邻居关系权重对关系的状态进行加权结合，获取实体对的邻居边表示；上下文感知的路径注意机制学习实体对之间的关系路径得到实体对之间所有关系路径的表示；根据实体对的邻居边表示计算每条关系路径的权重，利用权重对关系路径的表示进行加权求和获得实体对的关系路径表示；计算实体对之间关系的概率分布，利用概率分布构建损失函数进行训练，得到补全模型。本发明可以捕获实体邻居边重要程度的差异，减轻了噪声路径的影响，实验结果表明，在链路预测任务上优于其他基线方法，且具有更好的解释能力。

公开(公告)号：CN118673922A

公开(公告)日：2024-09-20

申请号：CN202410880085.0

申请日：2024-07-02

Applicant: 天津师范大学 ,  郑州轻工业大学

Inventor： 马江涛 ,  王艳军 ,  李祖贺 ,  晋文朵 ,  李坤霖 ,  刘博 ,  芦云龙 ,  张六福 ,  卫梦屹

IPC: G06F40/295 ,  G06F40/211 ,  G06F40/30 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/098 ,  G06N5/04

Abstract: 一种基于依存句法和图神经网络的多模态命名实体识别方法，包括以下步骤：获取文本及文本关联图像，利用预训练模型获取文本的上下文特征表示并分别构建文本语义图和文本句法图，然后利用图共享卷积网络对文本的上下文特征表示、文本语义图和文本句法图进行处理，获取最终文本特征表示；通过图像字幕生成模型将文本关联图像转换为图像标题，构建图像标题语义图和图像标题句法图，然后利用图共享卷积网络，获取最终图像标题特征表示；利用视觉图神经网络对文本关联图像进行提取，获取图级视觉特征表示；利用跨模态Transformer融合获得多模态特征表示，然后利用条件随机场对多模态特征表示进行处理，输出实体概率分布。本发明通过充分挖掘和利用语义信息和句法信息，显著提升了命名实体准确性，提高多模态命名实体识别的有效性和灵活性。

公开(公告)号：CN118798331A

公开(公告)日：2024-10-18

申请号：CN202410756898.9

申请日：2024-06-12

Applicant: 郑州轻工业大学

Inventor： 马江涛 ,  周辰宇 ,  王艳军 ,  李祖贺 ,  张秋闻 ,  庾骏 ,  李璞 ,  李玉华 ,  张勋才 ,  马宇科 ,  李霆 ,  晋文朵 ,  程佳 ,  刘博 ,  李坤霖 ,  孙一帆 ,  卫梦屹 ,  付一龙

IPC: G06N5/02 ,  G06N3/0442 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明提出了一种基于交替归纳子图序列和共同偏好的知识图谱关系预测方法，其步骤如下：初始化知识图谱中每个实体的子图；使用子图序列化模型将子图转化为序列，学习序列化特征得到状态序列；使用偏好强化模型学习子图之间的共同偏好的权重，利用权重表示实体和尾实体的潜在子图；使用交替聚合模型处理潜在子图归纳不同的归纳子图，通过归纳子图之间的得分预测实体之间的关系并输出。本发明通过在知识图谱中学习候选实体周围的子图来预测关系，避免学习嵌入任何特定实体，可以在推理阶段处理新的看不见的实体；通过学习单个子图中层级之间的潜在关联和不同子图之间的共性来预测推测未知实体之间的关系，提高了知识图谱关系预测的效果和效率，提高了知识图谱质量。

公开(公告)号：CN116796833A

公开(公告)日：2023-09-22

申请号：CN202310705117.9

申请日：2023-06-14

Applicant: 郑州轻工业大学

Inventor： 马江涛 ,  周辰宇 ,  王艳军 ,  李祖贺 ,  张秋闻 ,  庾骏 ,  李璞 ,  李玉华 ,  张勋才 ,  马宇科 ,  李霆 ,  晋文朵 ,  程佳 ,  刘博 ,  李坤霖 ,  孙一帆 ,  卫梦屹 ,  付一龙

IPC: G06N5/02 ,  G06N3/044 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明提出了一种基于交替归纳的知识图谱关系预测方法，其步骤如下：初始化知识图谱中每个实体的子图；使用子图序列化模型将子图转化为序列，学习序列化特征得到状态序列；使用偏好强化模型学习子图之间的共同偏好的权重，利用权重表示实体和尾实体的潜在子图；使用交替聚合模型处理潜在子图归纳不同的归纳子图，通过归纳子图之间的得分预测实体之间的关系并输出。本发明通过在知识图谱中学习候选实体周围的子图来预测关系，避免学习嵌入任何特定实体，可以在推理阶段处理新的看不见的实体；通过学习单个子图中层级之间的潜在关联和不同子图之间的共性来预测推测未知实体之间的关系，提高了知识图谱关系预测的效果和效率，提高了知识图谱质量。