-
公开(公告)号:CN110210540A
公开(公告)日:2019-09-06
申请号:CN201910431115.9
申请日:2019-05-22
申请人: 山东大学
摘要: 本发明公开了一种基于注意力机制的跨社交媒体用户身份识别方法及方法,所述方法包括以下步骤:获取不同社交媒体上多个用户的不同模态的数据作为训练数据;对于不同模态的数据,分别采用不同的模型学习数据的潜在表示,训练用户身份识别模型:结合时序关系和不同模态数据的置信度,计算不同社交媒体上用户之间数据的相似度;使用多层感知机将用户之间相似度映射到概率空间,得到不同社交媒体上用户指向同一用户实体的概率;采用交叉熵构建目标函数,对模型参数进行迭代优化求解;所述模型用于针对不同社交媒体上的不同模态数据确定是否指向同一用户。本发明考虑了不同模态数据传递数据的差异,用户身份识别的准确性更高。
-
公开(公告)号:CN110210523A
公开(公告)日:2019-09-06
申请号:CN201910394364.5
申请日:2019-05-13
申请人: 山东大学
摘要: 本公开公开了一种基于形状图约束的模特穿着衣物图像生成方法及装置,方法包括:接收图像数据,进行预处理构建模特衣物数据集,获取衣物纹理;提取模特衣物数据集中的模特-衣物对,构建模特-衣物-形状三元组,训练形状预测器;根据模特衣物数据集中的模特-衣物对训练纹理渲染器;通过形状预测器对输入的模特图像进行形状预测,将预测结果作为形状约束;纹理渲染器同时接收形状约束和衣物纹理,渲染出最终的衣物图像。
-
公开(公告)号:CN108932304B
公开(公告)日:2019-06-18
申请号:CN201810600245.6
申请日:2018-06-12
申请人: 山东大学
IPC分类号: G06F16/783 , G06F16/78 , G06F17/27 , G06K9/00 , G06K9/62
摘要: 本发明公开了基于跨模态的视频时刻定位方法、系统及存储介质,将其应用到视频中某一时刻片段的定位问题中,包括以下步骤:构建语言时序模型对有利于时刻定位的文本信息提取出来并进行特征提取;多模态融合模型融合文本‑视觉特征,生成强化的时刻表示特征;多层感知机模型用来预测时刻与文本描述的匹配程度以及时刻片段的起始时间;使用训练数据端到端的训练模型。本发明在基于文本查询的时刻定位问题上,准确率高于现有模型。
-
公开(公告)号:CN118193769A
公开(公告)日:2024-06-14
申请号:CN202410377835.2
申请日:2024-03-29
申请人: 山东大学
IPC分类号: G06F16/532 , G06F16/583 , G06V20/70 , G06V10/80 , G06F40/279
摘要: 本发明提供了一种组合式图像检索方法、系统、介质及设备,分别在原始数据层面进行多模态融合操作,得到图像形式的查询条件以及文本形式的查询条件,通过线性操作,将上述图像形式的查询条件和文本形式的查询条件进行融合,用于目标图像检索。本发明将多模态融合从现有方法的特征层面转移到原始数据层面,能够实现更优的多模态组合式图像检索效果,可根据多模态查询进行图像检索,包括参考图像以及对参考图像进行修改的文本描述,以检索到满足要求的图像。
-
公开(公告)号:CN110334245B
公开(公告)日:2023-04-07
申请号:CN201910599470.7
申请日:2019-07-04
申请人: 山东大学
IPC分类号: G06F16/735 , G06F16/78 , G06F16/783 , G06N3/0464 , G06N3/0442 , G06N3/08
摘要: 本公开公开了一种基于时序属性的图神经网络的短视频解析方法及装置,方法包括:采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模,获得用户的兴趣表征;采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模,获得用户的增强兴趣表征;采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模,获得用户的非兴趣表征;接收新的短视频,获得新短视频特征,将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络,得到短视频的预测概率;根据不同短视频的预测概率数值的降序进行短视频解析。
-
公开(公告)号:CN115311605A
公开(公告)日:2022-11-08
申请号:CN202211195726.6
申请日:2022-09-29
申请人: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC分类号: G06V20/40 , G06V10/764 , G06V10/774 , G06V10/778 , G06V10/82 , G06N3/08
摘要: 本发明属于计算机视觉视频分类领域,为了解决现有技术对视频中的运动信息挖掘不足,引入监督信号过少,模型训练效率低下以及学习到的特征判别性不足,这些均导致视频分类的准确率较低的问题,提供基于近邻一致性和对比学习的半监督视频分类方法及系统。其中基于近邻一致性和对比学习的半监督视频分类方法包括提取待分类视频样本的RGB帧图像;基于RGB帧图像及训练好的教师网络,得到所有视频分类的预测分布,将概率最大的类别作为分类结果;其基于教师‑学生网络对视频进行分类,能够在仅有少量标注数据的情况下提高视频分类的准确性。
-
公开(公告)号:CN110807477B
公开(公告)日:2022-06-07
申请号:CN201910993603.9
申请日:2019-10-18
申请人: 山东大学
IPC分类号: G06V10/764 , G06V10/774 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
摘要: 本公开公开了基于注意力机制的神经网络服装搭配方案生成方法及系统,构建基于注意力机制的神经网络模型;构建训练集;将训练集输入到已构建的基于注意力机制的神经网络模型中,对基于注意力机制的神经网络模型进行训练,当模型的损失函数收敛时,停止训练,输出训练好的基于注意力机制的神经网络模型;获取待搭配的上衣;获取已有的若干件下衣;将待搭配的上衣和已有的若干件下衣,均输入到训练好的基于注意力机制的神经网络模型中,输出与待搭配的上衣所匹配的下衣;最终,待搭配的上衣与匹配的下衣作为最佳穿衣搭配方案输出。
-
公开(公告)号:CN114564602A
公开(公告)日:2022-05-31
申请号:CN202210262736.0
申请日:2022-03-17
申请人: 北京达佳互联信息技术有限公司 , 山东大学
IPC分类号: G06F16/435 , G06F40/216 , G06F16/45 , G06K9/62
摘要: 本公开关于一种多媒体资源的标签构建方法、装置、电子设备、计算机可读存储介质以及计算机程序产品,其中方法通过获取待构建标签的多媒体资源,从多个多媒体中确定目标标签集,并根据目标标签集中任一标签对所对应的多媒体,获取标签对的统计特征,进而根据标签对的统计特征确定标签对的关系类别,最后根据每个标签对的关系类别构建多媒体资源的标签体系。以实现基于待构建标签的多媒体资源进行标签的挖掘以及标签体系的构建,从而提高了定义标签的准确性及效率。
-
公开(公告)号:CN110391010B
公开(公告)日:2022-05-13
申请号:CN201910502406.2
申请日:2019-06-11
申请人: 山东大学
摘要: 本发明公开了一种基于个人健康感知的食品推荐方法及系统,所述方法包括以下步骤:确定可选的食材种类,基于食谱数据集进行食谱检索;获取与用户健康有关的文本信息,根据所述文本信息进行健康状况预测,得到用户健康画像;基于检索到的食谱和用户健康画像为用户推荐食谱。本发明能够推荐符合用户健康状态的食谱。
-
公开(公告)号:CN110210540B
公开(公告)日:2021-02-26
申请号:CN201910431115.9
申请日:2019-05-22
申请人: 山东大学
摘要: 本发明公开了一种基于注意力机制的跨社交媒体用户身份识别方法及方法,所述方法包括以下步骤:获取不同社交媒体上多个用户的不同模态的数据作为训练数据;对于不同模态的数据,分别采用不同的模型学习数据的潜在表示,训练用户身份识别模型:结合时序关系和不同模态数据的置信度,计算不同社交媒体上用户之间数据的相似度;使用多层感知机将用户之间相似度映射到概率空间,得到不同社交媒体上用户指向同一用户实体的概率;采用交叉熵构建目标函数,对模型参数进行迭代优化求解;所述模型用于针对不同社交媒体上的不同模态数据确定是否指向同一用户。本发明考虑了不同模态数据传递数据的差异,用户身份识别的准确性更高。
-
-
-
-
-
-
-
-
-