公开(公告)号：CN117807267A

公开(公告)日：2024-04-02

申请号：CN202410060470.0

申请日：2024-01-15

申请人： 齐鲁工业大学(山东省科学院)

发明人： 孙涛 ,  张志平 ,  郑洪岩 ,  刘昊

IPC分类号： G06F16/583 ,  G06F40/30 ,  G06V10/75

摘要： 本发明涉及基于图文检索的实体感知方法、系统、存储介质及设备，充分利用图像‑文本对中的正负实体区域感知来更加准确的完成实体匹配，通过标签学习解决在跨模态图像‑文本检索中由于稀疏监督而忽略实体区域不匹配的问题，门机制解决了实体匹配过程中梯度消失的问题，不仅要关注图像文本对中的匹配区域，而且要关注不匹配区域，并给予它们负相似度，从而获得更准确的匹配结果，提高匹配精度。

公开(公告)号：CN118427378A

公开(公告)日：2024-08-02

申请号：CN202410664378.5

申请日：2024-05-27

申请人： 齐鲁工业大学(山东省科学院)

发明人： 孙涛 ,  郑洪岩 ,  张志平 ,  刘昊

IPC分类号： G06F16/535 ,  G06F16/583 ,  G06F16/538 ,  G06N3/0455 ,  G06N3/08

摘要： 本发明提供了一种基于隐式知识强化的视觉问答方法及系统，包括：接收用于视觉问答的图像及图像对应的问题；基于图像对应的问题以及图像文本表示，基于第一自然语言处理大模型，获得隐式文本知识；基于图像及图像对应的问题，基于第二自然语言处理大模型，获得隐式多模态知识；基于图像对应的问题、图像文本表示、隐式文本知识以及隐式多模态知识，获得视觉问答查询；分别利用预设编码器对外部知识库中的知识段落以及视觉问答查询进行编码，获得知识段落交互向量和视觉问答查询向量；计算视觉问答查询向量与外部知识库中所有知识段落对应的知识段落交互向量的相似度得分，基于得分结果，确定视觉问答结果。

公开(公告)号：CN118626721A

公开(公告)日：2024-09-10

申请号：CN202410802865.3

申请日：2024-06-20

申请人： 齐鲁工业大学(山东省科学院)

发明人： 孙涛 ,  刘昊 ,  张志平 ,  郑洪岩

IPC分类号： G06F16/9535 ,  G06F16/9536 ,  G06N5/022 ,  G06N3/0895 ,  G06F18/213

摘要： 本发明公开了一种基于多行为对比学习的推荐方法及系统，属于推荐系统技术领域。包括：获取用户的多行为交互图和知识图谱；将多行为交互图和对应的知识图谱输入推荐模型进行处理，获取推荐项目；训练推荐模型具体包括：将多行为交互图数据集输入行为感知模块进行行为间对比学习和行为内对比学习，生成多行为信息用户项目嵌入表征；将知识图谱数据集输入知识增强模块进行分层对比学习，生成知识图谱用户项目嵌入表征；将多行为信息用户项目嵌入表征和知识图谱用户项目嵌入表征关联，基于预设的损失函数对推荐模型进行优化。能够提高个性化推荐的准确性和鲁棒性，解决了现有辅助信息存在噪声以及无法提取多行为中有效信息，影响推荐准确性的问题。