基于注意力机制的跨社交媒体用户身份识别方法及系统

    公开(公告)号:CN110210540A

    公开(公告)日:2019-09-06

    申请号:CN201910431115.9

    申请日:2019-05-22

    申请人: 山东大学

    摘要: 本发明公开了一种基于注意力机制的跨社交媒体用户身份识别方法及方法,所述方法包括以下步骤:获取不同社交媒体上多个用户的不同模态的数据作为训练数据;对于不同模态的数据,分别采用不同的模型学习数据的潜在表示,训练用户身份识别模型:结合时序关系和不同模态数据的置信度,计算不同社交媒体上用户之间数据的相似度;使用多层感知机将用户之间相似度映射到概率空间,得到不同社交媒体上用户指向同一用户实体的概率;采用交叉熵构建目标函数,对模型参数进行迭代优化求解;所述模型用于针对不同社交媒体上的不同模态数据确定是否指向同一用户。本发明考虑了不同模态数据传递数据的差异,用户身份识别的准确性更高。

    基于跨模态的视频时刻定位方法、系统及存储介质

    公开(公告)号:CN108932304B

    公开(公告)日:2019-06-18

    申请号:CN201810600245.6

    申请日:2018-06-12

    申请人: 山东大学

    摘要: 本发明公开了基于跨模态的视频时刻定位方法、系统及存储介质,将其应用到视频中某一时刻片段的定位问题中,包括以下步骤:构建语言时序模型对有利于时刻定位的文本信息提取出来并进行特征提取;多模态融合模型融合文本‑视觉特征,生成强化的时刻表示特征;多层感知机模型用来预测时刻与文本描述的匹配程度以及时刻片段的起始时间;使用训练数据端到端的训练模型。本发明在基于文本查询的时刻定位问题上,准确率高于现有模型。

    一种组合式图像检索方法、系统、介质及设备

    公开(公告)号:CN118193769A

    公开(公告)日:2024-06-14

    申请号:CN202410377835.2

    申请日:2024-03-29

    申请人: 山东大学

    摘要: 本发明提供了一种组合式图像检索方法、系统、介质及设备,分别在原始数据层面进行多模态融合操作,得到图像形式的查询条件以及文本形式的查询条件,通过线性操作,将上述图像形式的查询条件和文本形式的查询条件进行融合,用于目标图像检索。本发明将多模态融合从现有方法的特征层面转移到原始数据层面,能够实现更优的多模态组合式图像检索效果,可根据多模态查询进行图像检索,包括参考图像以及对参考图像进行修改的文本描述,以检索到满足要求的图像。

    一种基于时序属性的图神经网络的短视频解析方法及装置

    公开(公告)号:CN110334245B

    公开(公告)日:2023-04-07

    申请号:CN201910599470.7

    申请日:2019-07-04

    申请人: 山东大学

    摘要: 本公开公开了一种基于时序属性的图神经网络的短视频解析方法及装置,方法包括:采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模,获得用户的兴趣表征;采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模,获得用户的增强兴趣表征;采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模,获得用户的非兴趣表征;接收新的短视频,获得新短视频特征,将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络,得到短视频的预测概率;根据不同短视频的预测概率数值的降序进行短视频解析。

    基于注意力机制的神经网络服装搭配方案生成方法及系统

    公开(公告)号:CN110807477B

    公开(公告)日:2022-06-07

    申请号:CN201910993603.9

    申请日:2019-10-18

    申请人: 山东大学

    摘要: 本公开公开了基于注意力机制的神经网络服装搭配方案生成方法及系统,构建基于注意力机制的神经网络模型;构建训练集;将训练集输入到已构建的基于注意力机制的神经网络模型中,对基于注意力机制的神经网络模型进行训练,当模型的损失函数收敛时,停止训练,输出训练好的基于注意力机制的神经网络模型;获取待搭配的上衣;获取已有的若干件下衣;将待搭配的上衣和已有的若干件下衣,均输入到训练好的基于注意力机制的神经网络模型中,输出与待搭配的上衣所匹配的下衣;最终,待搭配的上衣与匹配的下衣作为最佳穿衣搭配方案输出。

    基于个人健康感知的食品推荐方法及系统

    公开(公告)号:CN110391010B

    公开(公告)日:2022-05-13

    申请号:CN201910502406.2

    申请日:2019-06-11

    申请人: 山东大学

    IPC分类号: G06N3/04 G16H20/60 G16H50/30

    摘要: 本发明公开了一种基于个人健康感知的食品推荐方法及系统,所述方法包括以下步骤:确定可选的食材种类,基于食谱数据集进行食谱检索;获取与用户健康有关的文本信息,根据所述文本信息进行健康状况预测,得到用户健康画像;基于检索到的食谱和用户健康画像为用户推荐食谱。本发明能够推荐符合用户健康状态的食谱。

    基于注意力机制的跨社交媒体用户身份识别方法及系统

    公开(公告)号:CN110210540B

    公开(公告)日:2021-02-26

    申请号:CN201910431115.9

    申请日:2019-05-22

    申请人: 山东大学

    摘要: 本发明公开了一种基于注意力机制的跨社交媒体用户身份识别方法及方法,所述方法包括以下步骤:获取不同社交媒体上多个用户的不同模态的数据作为训练数据;对于不同模态的数据,分别采用不同的模型学习数据的潜在表示,训练用户身份识别模型:结合时序关系和不同模态数据的置信度,计算不同社交媒体上用户之间数据的相似度;使用多层感知机将用户之间相似度映射到概率空间,得到不同社交媒体上用户指向同一用户实体的概率;采用交叉熵构建目标函数,对模型参数进行迭代优化求解;所述模型用于针对不同社交媒体上的不同模态数据确定是否指向同一用户。本发明考虑了不同模态数据传递数据的差异,用户身份识别的准确性更高。