公开(公告)号：CN112990297B

公开(公告)日：2024-02-02

申请号：CN202110262221.6

申请日：2021-03-10

申请人： 北京智源人工智能研究院 ,  中国人民大学

发明人： 霍宇琦 ,  张曼黎 ,  刘光镇 ,  卢志武 ,  窦志成 ,  金琴 ,  赵鑫 ,  宋睿华 ,  文继荣

IPC分类号： G06N3/08 ,  G06F18/22 ,  G06N3/045 ,  G06F16/583 ,  G06F16/33

摘要： 况。本申请提出一种多模态预训练模型的训练方法、应用方法及装置，该方法包括：构建双塔结构的多模态预训练模型；获取包括正样本图文对的正样本数据集和包括负样本图文对的负样本数据集；根据正样本数据集和负样本数据集训练多模态预训练模型，多模态预训练模型包括用于对正样本图文对和负样本图文对进行图文相似度对比学习的跨模态对比学习模块。本申请中多模态预训练模型采用双塔结构和跨模态对比学习算法，对图像和文本模态都构建大量负样本，模型表达能力强，提高了图文对的处理精度。该(56)对比文件Junhua Mao 等.Training and EvaluatingMultimodal Word Embeddings with Large-scale Web Annotated Images《.MachineLearning》.2016,1-9.Yu Liu.Learning a Recurrent ResidualFusion Network for Multimodal Matching.《2017 IEEE International Conference onComputer Vision (ICCV)》.2017,1-10.

公开(公告)号：CN114677402A

公开(公告)日：2022-06-28

申请号：CN202210360153.1

申请日：2022-04-07

申请人： 北京智源人工智能研究院 ,  中国人民大学

发明人： 金楚浩 ,  宋睿华 ,  许洪腾 ,  卢志武 ,  曹岗 ,  文继荣

IPC分类号： G06T7/187 ,  G06T11/60 ,  G06N3/04 ,  G06N3/08

摘要： 本申请公开了一种海报文本布局、海报生成方法及相关装置。通过应用本申请的技术方案，可以从海报背景图像中的平滑区域中利用一个级联的自动编码器选取其中的可用区域，并在后续依据另一个级联自动编码器对该可用区域进行迭代细化后自动确定其中的文本框并将文字信息填入其中，从而智能的生成海报图像。进而避免了相关技术中，仅依靠人工设计生成海报所面临的无法满足高质量海报的大量需求的问题。

公开(公告)号：CN112990297A

公开(公告)日：2021-06-18

申请号：CN202110262221.6

申请日：2021-03-10

申请人： 北京智源人工智能研究院 ,  中国人民大学

发明人： 霍宇琦 ,  张曼黎 ,  刘光镇 ,  卢志武 ,  窦志成 ,  金琴 ,  赵鑫 ,  宋睿华 ,  文继荣

IPC分类号： G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F16/583 ,  G06F16/33

摘要： 本申请提出一种多模态预训练模型的训练方法、应用方法及装置，该方法包括：构建双塔结构的多模态预训练模型；获取包括正样本图文对的正样本数据集和包括负样本图文对的负样本数据集；根据正样本数据集和负样本数据集训练多模态预训练模型，多模态预训练模型包括用于对正样本图文对和负样本图文对进行图文相似度对比学习的跨模态对比学习模块。本申请中多模态预训练模型采用双塔结构和跨模态对比学习算法，对图像和文本模态都构建大量负样本，模型表达能力强，提高了图文对的处理精度。该模型计算图文间的整体相似度，根据相似度判断图文是否对应，基于图文弱相关假设，更贴合实际应用中图文对中图文间语义弱相关的实际情况。

公开(公告)号：CN114742991A

公开(公告)日：2022-07-12

申请号：CN202210360219.7

申请日：2022-04-07

申请人： 北京智源人工智能研究院 ,  中国人民大学

发明人： 金楚浩 ,  宋睿华 ,  许洪腾 ,  卢志武 ,  曹岗 ,  文继荣

IPC分类号： G06V10/25 ,  G06V10/774 ,  G06K9/62 ,  G06N3/04 ,  G06V30/40

摘要： 本申请公开了一种海报背景图像选取、模型训练、海报生成方法及相关装置。通过应用本申请的技术方案，可以将多个弱相关图像文本对对预设的视觉文本模型进行训练，并通过该训练得到的视觉文本模型来自动选取与用户感兴趣的文字信息之间弱相关的海报背景图像。进而后续基于该自动选取的海报背景图像生成最终的海报图像。进而避免了相关技术中，仅依靠人工设计生成海报所面临的无法满足高质量海报的大量需求的问题。

公开(公告)号：CN116168775A

公开(公告)日：2023-05-26

申请号：CN202211099018.2

申请日：2022-09-07

申请人： 中国人民大学

发明人： 苏冰 ,  文继荣 ,  杜大钊 ,  杨钊 ,  周彧杰 ,  李江梦 ,  孙浩 ,  卢志武

IPC分类号： G16C20/70 ,  G16C20/90 ,  G06F40/126 ,  G06F40/194 ,  G06F40/30 ,  G06N20/00

摘要： 本发明通过网络安全领域的方法，实现了分子多模态模型训练与应用方法、存储介质及芯片与系统。首先通过Transformer中的Encoder结构将候选文档集合之间和子话题或查询之间进行交互，在获取文档和子话题的正式表示之后，通过已选文档，所有候选文档和子话题来建模结合权重，并通过交互获得显式评分和隐式评分，最终通过更新的权重将显式评分和隐式评分组合成为最终的多样化评分段。本发明提供的方法设计了一个在不同查询的不同步骤下，动态调整权重的显隐式特征结合模型，来提升搜索结果多样化的效果。并通过listpairwise的LambdaRank方式的损失函数来训练模型，对模型进行实验结果证实了模型的有效性和可解释性。