-
公开(公告)号:CN116089906B
公开(公告)日:2023-06-16
申请号:CN202310232058.8
申请日:2023-03-13
申请人: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC分类号: G06F18/25 , G06F18/24 , G06F16/332 , G06F16/35
摘要: 本发明涉及自然语言处理中的对话情感识别技术领域,提供了一种基于动态上下文表示和模态融合的多模态分类方法及系统,其解决了每个模态的特征未得到充分的分析,也没有根据其特性进行针对性地处理的问题。其中,基于动态上下文表示和模态融合的多模态分类方法将每个模态的特征分别进行全局上下文表征、局部上下文表征和直接映射表征,再根据动态路径选择方法融合上述表征,得到每个模态的初始融合特征;将所有模态的初始融合特征分别执行全融合、部分融合和带偏融合处理,得到全融合结果、部分融合结果和带偏融合结果,再通过动态路径选择方法融合,得到最终用于分类的多模态融合特征。其提高了最终识别任务类别的准确性。
-
公开(公告)号:CN116089906A
公开(公告)日:2023-05-09
申请号:CN202310232058.8
申请日:2023-03-13
申请人: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC分类号: G06F18/25 , G06F18/24 , G06F16/332 , G06F16/35
摘要: 本发明涉及自然语言处理中的对话情感识别技术领域,提供了一种基于动态上下文表示和模态融合的多模态分类方法及系统,其解决了每个模态的特征未得到充分的分析,也没有根据其特性进行针对性地处理的问题。其中,基于动态上下文表示和模态融合的多模态分类方法将每个模态的特征分别进行全局上下文表征、局部上下文表征和直接映射表征,再根据动态路径选择方法融合上述表征,得到每个模态的初始融合特征;将所有模态的初始融合特征分别执行全融合、部分融合和带偏融合处理,得到全融合结果、部分融合结果和带偏融合结果,再通过动态路径选择方法融合,得到最终用于分类的多模态融合特征。其提高了最终识别任务类别的准确性。
-
公开(公告)号:CN115311605B
公开(公告)日:2023-01-03
申请号:CN202211195726.6
申请日:2022-09-29
申请人: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC分类号: G06V20/40 , G06V10/764 , G06V10/774 , G06V10/778 , G06V10/82 , G06N3/08
摘要: 本发明属于计算机视觉视频分类领域,为了解决现有技术对视频中的运动信息挖掘不足,引入监督信号过少,模型训练效率低下以及学习到的特征判别性不足,这些均导致视频分类的准确率较低的问题,提供基于近邻一致性和对比学习的半监督视频分类方法及系统。其中基于近邻一致性和对比学习的半监督视频分类方法包括提取待分类视频样本的RGB帧图像;基于RGB帧图像及训练好的教师网络,得到所有视频分类的预测分布,将概率最大的类别作为分类结果;其基于教师‑学生网络对视频进行分类,能够在仅有少量标注数据的情况下提高视频分类的准确性。
-
公开(公告)号:CN115294407B
公开(公告)日:2023-01-03
申请号:CN202211206057.8
申请日:2022-09-30
申请人: 山东大学 , 哈尔滨工业大学(深圳) , 浙江猫精人工智能科技有限公司
IPC分类号: G06V10/764 , G06V10/778 , G06V10/82 , G06N3/08 , G06N5/02
摘要: 本发明属于计算机视觉图像分类领域,为了解决识别图像类别的准确性差且不稳定的问题,提供基于预习机制知识蒸馏的模型压缩方法及系统。其中该方法包括获取图像样本并标注其标签,对学生网络进行监督训练;使得学生网络与预先训练好的教师网络进行输出对齐、特征对齐、类别中心对齐以及类别中心对比学习;计算图像样本的难度分数,动态分配不同图像样本的权重;基于监督训练、输出对齐、特征对齐、类别中心对齐及类别中心对比学习的损失函数及不同图像样本的权重,得到总损失函数;根据总损失函数来指导训练学生网络,得到训练完成的学生网络,以作为图像分类模型,用于对输入的图像进行类别分布预测。其提高了图像识别类别的准确性。
-
公开(公告)号:CN112267509A
公开(公告)日:2021-01-26
申请号:CN202011092685.9
申请日:2020-10-13
申请人: 山东大学
摘要: 本发明公开了一种利用水压的清淤装置及河道清淤方法,属于挖掘机领域,其中清淤装置包括底座、轨道、喷头和机械臂,机械臂铰接于底座,底座滑动连接轨道,轨道固定布置于地面;机械臂的末端设有主杆和一端铰接主杆的多个支杆,多个支杆能够绕铰接点转动,喷头固定连接于支杆,喷头还连通水源。本发明中将设备铺设在轨道上以便于移动,借助管道将水压导入水底扰动泥沙,利用河道汛期水量大,流速快的特点,利用水压打破淤泥的静止平衡,形成悬扬的状态,通过汛期水流将这一河段的淤泥进行清理。
-
公开(公告)号:CN110210523B
公开(公告)日:2021-01-15
申请号:CN201910394364.5
申请日:2019-05-13
申请人: 山东大学
摘要: 本公开公开了一种基于形状图约束的模特穿着衣物图像生成方法及装置,方法包括:接收图像数据,进行预处理构建模特衣物数据集,获取衣物纹理;提取模特衣物数据集中的模特‑衣物对,构建模特‑衣物‑形状三元组,训练形状预测器;根据模特衣物数据集中的模特‑衣物对训练纹理渲染器;通过形状预测器对输入的模特图像进行形状预测,将预测结果作为形状图约束;纹理渲染器同时接收形状图约束和衣物纹理,渲染出最终的衣物图像。
-
公开(公告)号:CN111860348A
公开(公告)日:2020-10-30
申请号:CN202010714478.6
申请日:2020-07-21
申请人: 国网山东省电力公司青岛供电公司 , 国家电网有限公司 , 山东大学
摘要: 本发明公开了一种基于深度学习的弱监督电力图纸OCR识别方法,属于电力图纸智能识别技术领域,所述方法包括:利用预先训练好的文本检测模型对待识别图像进行检测,预测出整个单词级别的文本区域框;对预测出的文本区域框进行文字识别:对于竖直文本采用字符切割得到单个字符文本,对于水平文本则直接使用文本行,之后再通过CNN+BiLSTM+CTC模型进行识别;对得到的识别结果进行后处理:通过先验知识对结果进行判定和修改来提高准确率。本发明对图纸中水平竖直文本并存的情况能够准确检测出两种文本的区域,对图纸中中文、英文、数字混合的情况能够准确识别出其文字,并且本发明识别速度快,成本低。
-
公开(公告)号:CN109344887B
公开(公告)日:2020-07-07
申请号:CN201811087839.8
申请日:2018-09-18
申请人: 山东大学
IPC分类号: G06K9/62
摘要: 本发明公开了基于多模态字典学习的短视频分类方法、系统及介质,并将其应用到短视频场景预测问题中,包括以下步骤:离线部分:依据少量标记样本,构建树形引导多模态字典学习,得到初始化的多模态字典给以及相应的稀疏表示;基于学习到的多模态稀疏表示,为每一个模态训练一个短视频场景分类器;在线部分:实时的对新来的短视频样本进行场景预测或者强化字典学习模型。对于新来的短视频,如果有场景标记,就用来强化字典学习模型;如果场景没有被标记,就用离线部分训练学习的分类器对场景类别预测。
-
公开(公告)号:CN108960959B
公开(公告)日:2020-05-12
申请号:CN201810501840.4
申请日:2018-05-23
申请人: 山东大学
摘要: 本发明公开了基于神经网络的多模态互补服装搭配方法、系统及介质,从服装的图片中获取视觉特征,从服装的文字描述中获取文本特征;利用自编码器学习不同服装的视觉特征和文本特征的兼容性空间,得到视觉特征的隐含表示和文本特征的隐含表示;建立重建向量分别与输入特征之间的关系模型;建立服装兼容性模型;然后,基于服装兼容性模型,采用贝叶斯个性化排序算法构建兼容性偏好模型;建立视觉特征隐含表示和文本特征隐含表示的一致性模型;然后,建立服装的多模态隐含特征一致性模型;构建基于深度神经网络的多模态互补服装搭配模型;对已经构建的多模态互补服装搭配模型进行训练;利用已经训练好的多模态互补服装搭配模型进行服装搭配推荐。
-
公开(公告)号:CN111026943A
公开(公告)日:2020-04-17
申请号:CN201911101644.9
申请日:2019-11-12
申请人: 山东大学
IPC分类号: G06F16/951 , G06F16/9536
摘要: 本发明公开了一种利用多源社交网络的合作学习进行用户兴趣分析方法及系统,包括:构建多源用户信息数据集;对于S个信息源,为全部的社交媒体用户定义S个预测模型,所述S个预测模型构成用户兴趣预测模型;将S个预测模型对应的权重矩阵分割成代表多源信息一致性的权重矩阵与代表多源信息互补性的权重矩阵;构建关于权重和置信度的损失函数;对所述用户兴趣预测模型赋予所述损失函数,并进行迭代优化;将待分析的社交用户多信息源输入到优化后的用户兴趣预测模型,输出该社交用户的兴趣爱好分类的预测。本发明充分利用了多源信息互补性,有效的提高了社交用户兴趣预测的准确度。
-
-
-
-
-
-
-
-
-