公开(公告)号：CN110337016A

公开(公告)日：2019-10-15

申请号：CN201910606172.6

申请日：2019-07-05

申请人： 山东大学

发明人： 尉寅玮 ,  王翔 ,  聂礼强 ,  刘萌 ,  刘伟锋 ,  高赞 ,  刘威

IPC分类号： H04N21/258 ,  H04N21/25 ,  H04N21/466 ,  H04N21/45 ,  G06F16/735 ,  G06F16/738 ,  G06F16/78 ,  G06N3/04

摘要： 本公开提供了一种基于多模态图卷积网络的短视频个性化推荐方法及系统。其中，基于多模态图卷积网络的短视频个性化推荐方法包括：基于短视频的图像模态、音频模态和文本模态分别构建用户-短视频图结构；用户-短视频图结构中的点表示用户和短视频，点之间的连线表示两者之间的交互；将各个模态的用户-短视频图结构输入至相应图卷积神经网络中，通过相应图卷积神经网络的聚合层分别计算表达各个模态的用户及短视频，利用相应图卷积神经网络的融合层合并用户及短视频的各个模态的表达，得到用户和短视频的最终表达；利用贝叶斯个性化排序算法依次推荐出用户和短视频的最终表达的成对序列。

公开(公告)号：CN110334245A

公开(公告)日：2019-10-15

申请号：CN201910599470.7

申请日：2019-07-04

申请人： 山东大学

发明人： 刘萌 ,  聂礼强 ,  李永祺 ,  尹建华 ,  甘甜 ,  宋雪萌 ,  刘威

IPC分类号： G06F16/735 ,  G06F16/78 ,  G06F16/783 ,  G06N3/04 ,  G06N3/08

摘要： 本公开公开了一种基于时序属性的图神经网络的短视频推荐方法及装置，方法包括：采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模，获得用户的兴趣表征；采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模，获得用户的增强兴趣表征；采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模，获得用户的非兴趣表征；接收新的短视频，获得新短视频特征，将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络，得到短视频的预测概率；根据不同短视频的预测概率数值的降序进行短视频推荐。

公开(公告)号：CN110019849A

公开(公告)日：2019-07-16

申请号：CN201810501841.9

申请日：2018-05-23

申请人： 山东大学

发明人： 刘萌 ,  聂礼强 ,  王翔 ,  宋雪萌 ,  甘甜 ,  陈宝权

IPC分类号： G06F16/43

摘要： 本发明公开了一种基于注意力机制的视频关注时刻检索方法及装置，包接收视频数据和查询信息，将接收的视频数据预分割为时刻片段；根据查询信息提取的查询特征，自适应地为上下文时刻片段提取的时刻特征分配权重，得到每个时刻片段增强的时刻表示特征；分别进行模态内和模态间的特征交互，生成增强的时刻表示特征与查询特征对应的时刻-查询表示；根据时刻-查询表示利用回归模型预测相关性分数和对应时刻片段的时间偏移量，得到与查询信息描述一致的视频片段。

公开(公告)号：CN108846375B

公开(公告)日：2019-06-18

申请号：CN201810697764.9

申请日：2018-06-29

申请人： 山东大学

发明人： 尉寅玮 ,  王翔 ,  宋雪萌 ,  王英龙 ,  聂礼强

IPC分类号： G06K9/00 ,  G06N3/02

摘要： 本发明公开了种一种基于神经网络的多模态协同学习方法及装置，该方法包括：S1抓取短视频数据建立短视频数据集，所述短视频数据包括用户历史发布的短视频及其附属信息；S2提取短视频数据集中短视频数据的多模态特征，并针对各个模态特征进行信息补足；S3依次将各个模态特征中任一模态特征作为主模态，其余作为辅模态，并计算主模态和辅模态的关系权重，分别进行同一性特征信息与补充性特征信息分类，将补充性特征信息和通过神经网络增强的同一性特征信息进行信息重组；S4建立关注机制网络，区分每一个重组后的模态特征信息对短视频所属场景分类的贡献程度，利用神经网络进行短视频场景分类。

公开(公告)号：CN108960959A

公开(公告)日：2018-12-07

申请号：CN201810501840.4

申请日：2018-05-23

申请人： 山东大学

发明人： 刘金环 ,  宋雪萌 ,  马军 ,  甘甜 ,  聂礼强

IPC分类号： G06Q30/06 ,  G06N3/02

摘要： 本发明公开了基于神经网络的多模态互补服装搭配方法、系统及介质，从服装的图片中获取视觉特征，从服装的文字描述中获取文本特征；利用自编码器学习不同服装的视觉特征和文本特征的兼容性空间，得到视觉特征的隐含表示和文本特征的隐含表示；建立重建向量分别与输入特征之间的关系模型；建立服装兼容性模型；然后，基于服装兼容性模型，采用贝叶斯个性化排序算法构建兼容性偏好模型；建立视觉特征隐含表示和文本特征隐含表示的一致性模型；然后，建立服装的多模态隐含特征一致性模型；构建基于深度神经网络的多模态互补服装搭配模型；对已经构建的多模态互补服装搭配模型进行训练；利用已经训练好的多模态互补服装搭配模型进行服装搭配推荐。

公开(公告)号：CN108897823A

公开(公告)日：2018-11-27

申请号：CN201810645528.2

申请日：2018-06-21

申请人： 山东大学

发明人： 郭洋洋 ,  程志勇 ,  聂礼强 ,  王英龙 ,  马军

IPC分类号： G06F17/30 ,  G06N3/04

摘要： 本发明公开了一种基于深度学习注意力机制的个性化商品检索方法及装置。其中，该方法包括：构建基于注意力机制的短期偏好模型；构建基于注意力机制的长期偏好模型；查询再表示；查询再表示的过程为：融合基于注意力机制的短期偏好模型、基于注意力机制的长期偏好模型以及当前查询，通过多层全连接网络来学习三者之间的交互关系，得到重组的查询表示，并采用一个距离函数来界定所有商品与当前查询的相关程度；训练所述多层全连接网络结束后，对每个用户提交的新查询，得到所有商品与当前查询的距离值，再将所有距离值从高到低进行排序，并将前n个距离值对应的商品返回给用户，其中，n为正整数。

公开(公告)号：CN118193769A

公开(公告)日：2024-06-14

申请号：CN202410377835.2

申请日：2024-03-29

申请人： 山东大学

发明人： 宋雪萌 ,  聂礼强 ,  温皓琨 ,  尉寅玮 ,  甘甜 ,  尹建华

IPC分类号： G06F16/532 ,  G06F16/583 ,  G06V20/70 ,  G06V10/80 ,  G06F40/279

摘要： 本发明提供了一种组合式图像检索方法、系统、介质及设备，分别在原始数据层面进行多模态融合操作，得到图像形式的查询条件以及文本形式的查询条件，通过线性操作，将上述图像形式的查询条件和文本形式的查询条件进行融合，用于目标图像检索。本发明将多模态融合从现有方法的特征层面转移到原始数据层面，能够实现更优的多模态组合式图像检索效果，可根据多模态查询进行图像检索，包括参考图像以及对参考图像进行修改的文本描述，以检索到满足要求的图像。

公开(公告)号：CN117937521B

公开(公告)日：2024-06-14

申请号：CN202410338553.1

申请日：2024-03-25

申请人： 山东大学

发明人： 石访 ,  宋雪萌 ,  聂礼强 ,  杨文娴 ,  田硕硕

IPC分类号： H02J3/24 ,  G06F18/25 ,  G06F18/213 ,  G06N3/048 ,  G06N3/0464 ,  H02J3/14 ,  H02J3/38 ,  H02J3/00

摘要： 本发明属于分布式电网协同控制领域，为解决现有技术未能深入挖掘电力系统的时空特征及各电气属性特征之间的交互作用而影响预测准确率的问题，提供了一种电力系统暂态频率稳定性预测方法、系统、介质及设备。其中，电力系统暂态频率稳定性预测方法包括将每种电气属性序列独立处理，多路并行提取电力系统扰动前后的电气属性序列的时空特征，得到原始时空特征，并分成直接相关属性特征和间接相关属性特征这两组，对两组时空特征分别与系统惯性中心频率进行融合来分组增强，再与原始时空特征进行拼接融合，得到电力系统表征得到电力系统暂态频率稳定性预测结果，有效提取电力系统的空间特征以实现正确预测电力系统稳定性。

公开(公告)号：CN117937521A

公开(公告)日：2024-04-26

申请号：CN202410338553.1

申请日：2024-03-25

申请人： 山东大学

发明人： 石访 ,  宋雪萌 ,  聂礼强 ,  杨文娴 ,  田硕硕

IPC分类号： H02J3/24 ,  G06F18/25 ,  G06F18/213 ,  G06N3/048 ,  G06N3/0464 ,  H02J3/14 ,  H02J3/38 ,  H02J3/00

摘要： 本发明属于分布式电网协同控制领域，为解决现有技术未能深入挖掘电力系统的时空特征及各电气属性特征之间的交互作用而影响预测准确率的问题，提供了一种电力系统暂态频率稳定性预测方法、系统、介质及设备。其中，电力系统暂态频率稳定性预测方法包括将每种电气属性序列独立处理，多路并行提取电力系统扰动前后的电气属性序列的时空特征，得到原始时空特征，并分成直接相关属性特征和间接相关属性特征这两组，对两组时空特征分别与系统惯性中心频率进行融合来分组增强，再与原始时空特征进行拼接融合，得到电力系统表征得到电力系统暂态频率稳定性预测结果，有效提取电力系统的空间特征以实现正确预测电力系统稳定性。

公开(公告)号：CN117009571A

公开(公告)日：2023-11-07

申请号：CN202310980937.9

申请日：2023-08-04

申请人： 山东大学

发明人： 宋雪萌 ,  聂礼强 ,  温皓琨 ,  尉寅玮 ,  胡宇鹏 ,  赵中州

IPC分类号： G06F16/583 ,  G06F16/55 ,  G06F18/213 ,  G06F18/25 ,  G06F18/241 ,  G06F18/22 ,  G06N3/096

摘要： 本发明属于图像信息检索技术领域，提供了一种目标引导的多模态组合式图像检索方法级系统，其方案为：包括属性特征提取模块，目标‑查询关系引导的多模态融合模块，以及目标相似度分布引导的度量学习模块。其中，属性特征提取模块可对参考图像、修改文本、以及目标图像提取统一的属性特征。而后两个模块则利用目标图像信息作为引导，分别进行多模态融合和度量学习，取得了出色的多模态组合式图像检索性能。