一种多模态多视图争议检测方法及系统

    公开(公告)号:CN118887028A

    公开(公告)日:2024-11-01

    申请号:CN202411345180.7

    申请日:2024-09-26

    申请人: 山东大学

    摘要: 本发明属于社交媒体争议检测技术领域。提供了一种多模态多视图争议检测方法及系统,分别进行视频特征提取和文本特征提取,得到多模态特征;将所述多模态特征整合在一起,学习视频内容的整体争议性特征;通过上下文图学习,对视频和评论之间的关系进行建模,得到视频和评论之间的语义和结构关系特征;利用情感矩阵和语义矩阵捕捉评论语义和情感之间的不一致特征;将所述整体争议性特征、所述语义和结构关系特征以及所述不一致特征进行拼接,通过分类器得到争议检测结果;本发明能有效地对多模态视频内容进行建模,并捕获社会语境之间的交互,提高了争议检测的准确性。

    水文数据清洗方法及系统
    13.
    发明公开

    公开(公告)号:CN113377750A

    公开(公告)日:2021-09-10

    申请号:CN202110545803.5

    申请日:2021-05-19

    申请人: 山东大学

    摘要: 本发明公开了水文数据清洗方法及系统,获取待处理的水文数据;对待处理的水文数据进行第一次清洗;所述第一次清洗包括:缺失数据监测和不合理数据剔除与填补;对第一次清洗后的水文数据进行第二次清洗;所述第二次清洗包括:对因果关系不一致的数据剔除与填补;对清洗结果进行检验水文数据的多元二次清洗能为进一步水文研究提供合理且一致的数据。

    基于跨模态哈希学习的视频解析方法

    公开(公告)号:CN113111836A

    公开(公告)日:2021-07-13

    申请号:CN202110447506.7

    申请日:2021-04-25

    摘要: 一种基于跨模态哈希学习的视频解析方法,实现多模态特征向汉明共空间的特征映射与融合,并利用汉明距离对具有语义相似性的视频片段‑查询语句对,进行高效检索。一方面引入双向时序卷积网络模型,深刻理解视频单元的上下文信息,以及视频内部的长期语义依赖;另一方面,引入基于多头注意力机制的文本语义理解模型,对给定查询语句进行有效表征,从而提高了视频定位的精度。本发的特征编码模型是相互独立的,即视频片段候选集的生成与查询语句特征集的表征,可以分开独立运行。因此,当我们对给定视频完成相应的候选集生成之后,可以根据不同用户的多样性需求,对当前视频反复进行基于汉明距离度量的高效视频定位。

    基于深度学习的人际交互肢体语言自动生成方法及系统

    公开(公告)号:CN108921284B

    公开(公告)日:2020-11-17

    申请号:CN201810623961.6

    申请日:2018-06-15

    申请人: 山东大学

    IPC分类号: G06N3/04 G10L25/63 G10L15/26

    摘要: 本发明公开了基于深度学习的人际交互肢体语言自动生成方法及系统,包括:步骤(1):从演讲视频中提取每一帧图像所对应时间范围内人物的音频训练特征;同时,从演讲视频中提取每一帧图像内人物的肢体训练特征,建立音频训练特征与肢体训练特征之间的的一一对应关系;步骤(2):构建双层循环神经网络模型;将音频训练特征作为双层循环神经网络模型的输入值,将肢体训练特征作为双层循环神经网络模型的输出值,对已构建的双层循环神经网络模型进行训练,得到训练好的双层循环神经网络模型;步骤(3):从待推荐肢体动作的音频中提取音频测试特征;步骤(4):将音频测试特征输入到训练好的双层循环神经网络模型中,输出推荐的肢体测试特征。

    一种基于时序属性的图神经网络的短视频推荐方法及装置

    公开(公告)号:CN110334245A

    公开(公告)日:2019-10-15

    申请号:CN201910599470.7

    申请日:2019-07-04

    申请人: 山东大学

    摘要: 本公开公开了一种基于时序属性的图神经网络的短视频推荐方法及装置,方法包括:采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模,获得用户的兴趣表征;采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模,获得用户的增强兴趣表征;采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模,获得用户的非兴趣表征;接收新的短视频,获得新短视频特征,将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络,得到短视频的预测概率;根据不同短视频的预测概率数值的降序进行短视频推荐。

    一种基于注意力机制的视频关注时刻检索方法及装置

    公开(公告)号:CN110019849A

    公开(公告)日:2019-07-16

    申请号:CN201810501841.9

    申请日:2018-05-23

    申请人: 山东大学

    IPC分类号: G06F16/43

    摘要: 本发明公开了一种基于注意力机制的视频关注时刻检索方法及装置,包接收视频数据和查询信息,将接收的视频数据预分割为时刻片段;根据查询信息提取的查询特征,自适应地为上下文时刻片段提取的时刻特征分配权重,得到每个时刻片段增强的时刻表示特征;分别进行模态内和模态间的特征交互,生成增强的时刻表示特征与查询特征对应的时刻-查询表示;根据时刻-查询表示利用回归模型预测相关性分数和对应时刻片段的时间偏移量,得到与查询信息描述一致的视频片段。

    基于神经网络的多模态互补服装搭配方法、系统及介质

    公开(公告)号:CN108960959A

    公开(公告)日:2018-12-07

    申请号:CN201810501840.4

    申请日:2018-05-23

    申请人: 山东大学

    IPC分类号: G06Q30/06 G06N3/02

    摘要: 本发明公开了基于神经网络的多模态互补服装搭配方法、系统及介质,从服装的图片中获取视觉特征,从服装的文字描述中获取文本特征;利用自编码器学习不同服装的视觉特征和文本特征的兼容性空间,得到视觉特征的隐含表示和文本特征的隐含表示;建立重建向量分别与输入特征之间的关系模型;建立服装兼容性模型;然后,基于服装兼容性模型,采用贝叶斯个性化排序算法构建兼容性偏好模型;建立视觉特征隐含表示和文本特征隐含表示的一致性模型;然后,建立服装的多模态隐含特征一致性模型;构建基于深度神经网络的多模态互补服装搭配模型;对已经构建的多模态互补服装搭配模型进行训练;利用已经训练好的多模态互补服装搭配模型进行服装搭配推荐。

    水文数据清洗方法及系统
    19.
    发明授权

    公开(公告)号:CN113377750B

    公开(公告)日:2022-03-29

    申请号:CN202110545803.5

    申请日:2021-05-19

    申请人: 山东大学

    摘要: 本发明公开了水文数据清洗方法及系统,获取待处理的水文数据;对待处理的水文数据进行第一次清洗;所述第一次清洗包括:缺失数据监测和不合理数据剔除与填补;对第一次清洗后的水文数据进行第二次清洗;所述第二次清洗包括:对因果关系不一致的数据剔除与填补;对清洗结果进行检验水文数据的多元二次清洗能为进一步水文研究提供合理且一致的数据。

    短视频标签标注方法及系统

    公开(公告)号:CN110309360B

    公开(公告)日:2021-09-28

    申请号:CN201910606153.3

    申请日:2019-07-05

    申请人: 山东大学

    摘要: 本公开提供了短视频标签标注方法及系统。其中,短视频标签标注方法,包括:构建无向图结构,所述无向图结构中包含短视频、用户和话题标签这三种类型的节点;将无向图结构输入至图卷积神经网络,得到基于用户偏好的短视频表示和基于用户偏好的话题标签表示;将基于用户偏好的短视频表示和基于用户偏好的话题标签表示进行点乘操作,得到两者之间的相似性分数并对这些相似性分数排序,获得个性化话题标签推荐。