-
公开(公告)号:CN114936901B
公开(公告)日:2024-05-28
申请号:CN202210558907.4
申请日:2022-05-21
Applicant: 山东大学
IPC: G06Q30/0601 , G06F16/9536 , G06F16/583 , G06F16/58 , G06F18/25 , G06N3/042 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/084 , G06N5/04 , G06N7/01
Abstract: 本发明属于推荐技术领域,提供了一种基于跨模态语义推理与融合的视觉感知推荐方法及系统,包括基于用户和商品的交互信息学习用户协同表征和商品协同表征;提取商品图像的统一嵌入表征,基于双向门控机制的异构表征对齐算法学习视觉偏好表征;提取商品图像的统一嵌入表征,基于双向门控机制的异构表征对齐算法和商品文本描述学习图像语义表征;基于图像语义表征通过图卷积生成语义偏好表征;将用户协同表征、商品协同表征、视觉偏好表征以及语义偏好表征进行融合,计算用户对商品的偏好得分,基于用户对商品的偏好得分为用户推荐商品;本发明实现多模态异构表征之间冗余信息与互补信息的权衡。
-
公开(公告)号:CN117573250A
公开(公告)日:2024-02-20
申请号:CN202311477034.5
申请日:2023-11-07
Applicant: 山东大学
IPC: G06F9/451 , G06F9/455 , G06F16/957 , G06T13/20 , G06T15/04
Abstract: 本发明提供了一种CesiumJS复杂动态纹理通用生成方法及系统,属于三维数据可视化技术领域。所述生成方法,包括:利用three.js库构建初始三维空间场景;初始三维空间场景中被添加若干文字、模型或几何体,得到设置后的三维空间场景;初始三维空间场景中被添加若干文字、模型或几何体,得到设置后的三维空间场景;设置后的三维空间场景中被添加正交相机对象,得到渲染了正交相机视图的HTMLCanvas网页元素克隆对象;根据渲染了正交相机视图的HTMLCanvas网页元素克隆对象创建CesiumJS动态纹理。本发明能够为任意种类实体(Entity)制作任意形式的动态纹理,并实现对纹理样式的实时交互控制。
-
公开(公告)号:CN114936901A
公开(公告)日:2022-08-23
申请号:CN202210558907.4
申请日:2022-05-21
Applicant: 山东大学
IPC: G06Q30/06 , G06F16/9536 , G06F16/583 , G06F16/58 , G06K9/62 , G06N3/04 , G06N3/08 , G06N5/04 , G06N7/00
Abstract: 本发明属于推荐技术领域,提供了一种基于跨模态语义推理与融合的视觉感知推荐方法及系统,包括基于用户和商品的交互信息学习用户协同表征和商品协同表征;提取商品图像的统一嵌入表征,基于双向门控机制的异构表征对齐算法学习视觉偏好表征;提取商品图像的统一嵌入表征,基于双向门控机制的异构表征对齐算法和商品文本描述学习图像语义表征;基于图像语义表征通过图卷积生成语义偏好表征;将用户协同表征、商品协同表征、视觉偏好表征以及语义偏好表征进行融合,计算用户对商品的偏好得分,基于用户对商品的偏好得分为用户推荐商品;本发明实现多模态异构表征之间冗余信息与互补信息的权衡。
-
公开(公告)号:CN114898156A
公开(公告)日:2022-08-12
申请号:CN202210558899.3
申请日:2022-05-21
Applicant: 山东大学
IPC: G06V10/764 , G06V10/80 , G06V10/77 , G06V10/82 , G06V10/774 , G06N3/04 , G06N3/08
Abstract: 本发明属于图像分类领域,提供了一种基于跨模态语义表征学习和融合的图像分类方法及系统,包括将获取的图像编码为视觉表征;将获取的图像编码为视觉表征;采用部分异构迁移算法从视觉表征学习与分类紧密相关的视觉分类表征;基于视觉表征,通过跨模态语义信息推理得到跨模态的语义信息推理结果,采用类感知信息选择算法对跨模态的语义信息推理结果计算高阶语义表征;融合视觉分类表征和高阶语义表征生成融合表征,基于融合表征进行图像识别分类;本发明通过表征对齐和跨模态推理提升模型表征学习,能够与常用的视觉识别方法ResNet、ATNet等相结合,在多模态数据有限的条件下有效提升模型的识别准确率。
-
公开(公告)号:CN114610893B
公开(公告)日:2024-07-23
申请号:CN202110297471.3
申请日:2021-03-19
Applicant: 山东大学
IPC: G06F16/36 , G06T11/60 , G06T13/00 , G06N3/0455 , G06N3/0475 , G06N3/094
Abstract: 本发明提供了一种基于深度学习的剧本到故事板序列自动生成方法及系统。其中,该方法包括获取文字剧本,并将其输入至训练完成的故事板序列自动生成模型中,输出所述文字剧本对应的分镜头故事板序列;其中,所述故事板序列自动生成模型包括基于对抗学习的粗粒度图像生成和基于对抗学习的粗粒度图像到细粒度图像细化两个阶段,基于对抗学习的粗粒度图像生成阶段用于将接收的文字剧本转换为包含目标轮廓和空间关系的粗粒度故事板图像序列,基于对抗学习的粗粒度图像到细粒度图像细化阶段用于将粗粒度故事板图像序列转换为细粒度故事板图像序列,并将其为所述文字剧本对应的分镜头故事板序列。
-
公开(公告)号:CN114943322B
公开(公告)日:2024-06-28
申请号:CN202210372997.8
申请日:2022-04-11
Applicant: 山东大学
IPC: G06T11/20 , G06N3/045 , G06N3/0475 , G06N3/0464 , G06N3/094 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/82
Abstract: 本发明涉及计算机视觉技术领域,本发明公开了基于深度学习的从布局到场景图像的自动生成方法及系统,包括:获取输入的布局;所述布局,包括:不同边界框的位置、尺寸和类别;把获取到的布局输入至训练好的生成器中,输出与布局一致的场景图像;其中,所述生成器通过与判别器的对抗学习来提高自己的图像生成能力,生成器的多层特征被转换为不同尺度的边缘图,从而实现多尺度学习;通过提取与融合生成器的多层特征中包含的边缘信息,完成对布局中各个物体边缘的迭代优化。
-
公开(公告)号:CN116524070A
公开(公告)日:2023-08-01
申请号:CN202310308547.7
申请日:2023-03-23
Applicant: 山东大学
Abstract: 本发明提出了一种基于文本的场景图片编辑方法及系统,通过将文本指令中的物体信息和位置信息转换为在场景中可视化空间掩码,从而确定准确的所有需要编辑的位置;通过将接收的文本指令和需要编辑的场景中的多个目标进行多模态对齐,并将其和空间掩码相结合,生成所述的编辑之后的场景,可实现根据文本指令一次性处理场景图片中多个需要编辑的目标物体,不需要通过迭代的方式,处理效率较高。
-
公开(公告)号:CN116452955A
公开(公告)日:2023-07-18
申请号:CN202310310539.6
申请日:2023-03-23
Applicant: 山东大学
IPC: G06V10/94 , G06V10/774 , G06V10/762 , G06V10/764 , G06V10/82 , G06N20/00 , G06N3/098 , G06N3/0464 , G06N3/048 , G06N3/047
Abstract: 本发明公开了基于原型引导交叉训练机制的联邦学习系统及方法,客户端将提取的图像特征进行聚类,选择最大簇中的图像特征作为类感知原型;客户端将类感知原型和中间图像分类模型对应的模型参数均发送至服务端;所述客户端从服务端获取由其他客户端上传的类感知原型和中间图像分类模型对应的模型参数;根据从服务端获取的由其他客户端上传的模型参数,对本地的中间图像分类模型进行更新,得到更新后的中间图像分类模型;采用本地的训练集,对更新后的中间图像分类模型进行训练,得到优化图像分类模型;对更新后的中间图像分类模型进行训练的过程中,采用类感知原型对损失函数进行约束;客户端再将优化图像分类模型对应的模型参数发送至服务端。
-
公开(公告)号:CN118364376B
公开(公告)日:2025-03-18
申请号:CN202410455873.5
申请日:2024-04-16
Applicant: 山东大学
IPC: G06F18/2415 , G06F18/211 , G06F18/213 , G06N3/0475 , G06F123/02
Abstract: 本发明涉及序列推荐技术领域,提供了一种基于义原泛化扩散模型的序列推荐方法及系统,包括:获取用户的行为序列;基于所述行为序列,从项目‑义原依赖矩阵中提取用户的先验义原行为;基于先验义原行为,对每个义原的出现频率进行统计,得到统计序列,并结合时间间隔重加权策略,得到用户对义原的原始兴趣分布;对于所述用户对义原的原始兴趣分布,进行反向转换,得到泛化兴趣分布;基于所述泛化兴趣分布,预测得到推荐项。降低了DM的空间和时间复杂性。
-
公开(公告)号:CN119229223A
公开(公告)日:2024-12-31
申请号:CN202411764345.4
申请日:2024-12-04
Applicant: 山东省工业技术研究院 , 山东大学
IPC: G06V10/764 , G06N3/098 , G06V10/82 , G06V10/80 , G06V10/762 , G06N3/0895
Abstract: 本发明属于联邦学习技术领域,具体涉及一种基于原型引导的联邦一致性表示学习系统及方法。其系统包含两个主要模块:源内表征校准模块和跨源一致表征学习模块。它首先利用源内表征校正模块改进局部训练,对不平衡数据上的特征分布进行校正。这有助于缓解因数据集偏差而引起的特征空间中的显著差异。同时,它向服务器提供原型信息,包括集群原型、集群方差和注意力分数。然后,跨源一致表征学习模块使用从所有客户获得的原型信息来学习广义投影和分类器。该算法首先利用统计知识生成扩展特征,细化特征空间,提高多样性。随后,将不同来源的特征映射到统一的空间进行比对和分类,并根据注意力得分消除孤立点的干扰。
-
-
-
-
-
-
-
-
-