一种多模态哈希检索方法及装置

    公开(公告)号:CN115982403B

    公开(公告)日:2024-02-02

    申请号:CN202310085564.9

    申请日:2023-01-12

    Abstract: 本发明公开了一种多模态哈希检索方法及装置,该方法包括:获取带有标签的训练数据集;构建带有Transformer Encoder模块的多模态神经网络;根据所述训练数据集中的每个多模态数据经过所述多模态神经网络生成的哈希码与该多模态数据对应的标签,设计目标损失函数;根据所述目标损失函数,采用梯度下降法更新所述多模态神经网络的参数,以训练所述多模态神经网络;获取多模态原始数据并对所述多模态原始数据进行特征工程加工;将加工后的多模态原始数据输入训练后的多模态神经网络中,生成多模态哈希码;利用所述多模态哈希码,进行哈希检索。该方法使用Transformer网络实现多模态特征融合,与单模态哈希表示学习相比,检索的平均准确率(mAP)更高。

    一种文本生成模型的训练方法、装置、介质及电子设备

    公开(公告)号:CN116628198A

    公开(公告)日:2023-08-22

    申请号:CN202310515566.7

    申请日:2023-05-08

    Abstract: 本说明书公开了一种文本生成模型的训练方法、装置、介质及电子设备,包括:先将从通用文本数据集中确定出的原始文本输入预先训练的类型识别模型,确定原始文本的模板标注。再根据模板标注,确定模板标注对应的目标模板。然后,根据原始文本、模板标注以及目标模板,生成训练文本生成模型的训练样本,将输入部分输入待训练的文本生成模型,得到输出文本,以样本标注与输出文本之间的差异最小为训练目标,对待训练的文本生成模型进行训练,增加了训练文本生成模型的训练样本,使得可以在训练样本较少的情况下,训练文本生成模型,使得文本生成模型训练效果好,提高文本生成模型的输出文本的准确性。

    一种演示文稿生成方法及装置

    公开(公告)号:CN116579308A

    公开(公告)日:2023-08-11

    申请号:CN202310819781.6

    申请日:2023-07-06

    Abstract: 本发明公开了一种演示文稿生成方法及装置,该方法包括:获取生成演示文稿的主题,基于预先构建并训练完成的文本生成模块,得到演示文稿的二级标题和每个二级标题下的文字内容;将所述演示文稿的主题、二级标题和每个二级标题下的文字内容结构化得到若干部分,将每个部分作为一页演示文稿,对除了首页和目录页以外的其他页进行关键词提取;基于提取出的关键词,通过文本生成图像模块生成各页演示文稿对应的配图图像;把划分后的文字内容和对应页的配图图像进行自动排版,得到完整的演示文稿。

    一种基于中心相似度学习的哈希码生成方法及装置

    公开(公告)号:CN114896434B

    公开(公告)日:2022-11-18

    申请号:CN202210821230.9

    申请日:2022-07-13

    Abstract: 本发明公开了一种基于中心相似度学习的哈希码生成方法及装置,该方法包括:获取带有标签的训练数据集;利用哈达玛矩阵,为所述训练数据集中相同标签的数据构造一个共享的哈希中心,从而得到若干哈希中心;根据所述训练数据集中的样本经过多模态神经网络生成的哈希码与该数据对应的哈希中心之间的距离,计算得到中心相似性学习的目标损失函数;根据所述中心相似性学习的目标损失函数,训练多模态神经网络;获取多模态数据并对所述多模态数据进行预处理;将预处理后的多模态数据输入训练后的多模态神经网络中,生成多模态哈希码。

    一种演示文稿生成方法及装置

    公开(公告)号:CN116579308B

    公开(公告)日:2023-10-10

    申请号:CN202310819781.6

    申请日:2023-07-06

    Abstract: 本发明公开了一种演示文稿生成方法及装置,该方法包括:获取生成演示文稿的主题,基于预先构建并训练完成的文本生成模块,得到演示文稿的二级标题和每个二级标题下的文字内容;将所述演示文稿的主题、二级标题和每个二级标题下的文字内容结构化得到若干部分,将每个部分作为一页演示文稿,对除了首页和目录页以外的其他页进行关键词提取;基于提取出的关键词,通过文本生成图像模块生成各页演示文稿对应的配图图像;把划分后的文字内容和对应页的配图图像进行自动排版,得到完整的演示文稿。

    基于目标生成式回应语言模型的回应方法和装置

    公开(公告)号:CN116303974B

    公开(公告)日:2023-08-01

    申请号:CN202310486966.X

    申请日:2023-05-04

    Abstract: 本申请涉及一种基于目标生成式回应语言模型的回应方法和装置。其中,该方法包括:基于教育设备中的提示数据集,训练得到初始生成式提示语言模型和初始生成式回应语言模型;并利用评分模型对二者的预测结果进行评分;基于对评分值的加权计算结果,通过强化学习和对抗学习进一步训练初始生成式提示语言模型和初始生成式回应语言模型,得到目标生成式回应语言模型;将教育设备采集的待测文本数据输入目标生成式回应语言模型,目标生成式回应语言模型将待测文本数据与对话数据进行拼接,得到相应的回应。采用本方法能生成多样的新提示,并加强生成式提示语言模型和生成式回应语言模型之间的交互,从而进一步改善生成式语言模型的意料外行为问题。

    一种针对未配对数据集的图像生成方法及装置

    公开(公告)号:CN114758035A

    公开(公告)日:2022-07-15

    申请号:CN202210661703.3

    申请日:2022-06-13

    Abstract: 本发明公开了一种针对未配对数据集的图像生成方法及装置,该方法包括:对第一模型和第二模型进行改进,其中所述第二模型包括第一子模型和第二子模型;将两组内部具有相同数据分布的未配对数据集作为改进后的第一模型的输入,训练改进后的第一模型,并通过改进后的第一模型训练完成后输出的两组配对数据集分别训练改进后的第一子模型和第二子模型;获取未配对数据集;将所述未配对数据集输入训练后的第一模型后,得到所述第一模型生成的第一生成数据集和第二生成数据集;将所述第一生成数据集和第二生成数据集分别输入训练后的第一子模型和第二子模型,并将所述第一子模型和第二子模型生成的第三生成数据集和第四生成数据集作为最终生成结果。

    基于目标生成式回应语言模型的回应方法和装置

    公开(公告)号:CN116303974A

    公开(公告)日:2023-06-23

    申请号:CN202310486966.X

    申请日:2023-05-04

    Abstract: 本申请涉及一种基于目标生成式回应语言模型的回应方法和装置。其中,该方法包括:基于教育设备中的提示数据集,训练得到初始生成式提示语言模型和初始生成式回应语言模型;并利用评分模型对二者的预测结果进行评分;基于对评分值的加权计算结果,通过强化学习和对抗学习进一步训练初始生成式提示语言模型和初始生成式回应语言模型,得到目标生成式回应语言模型;将教育设备采集的待测文本数据输入目标生成式回应语言模型,目标生成式回应语言模型将待测文本数据与对话数据进行拼接,得到相应的回应。采用本方法能生成多样的新提示,并加强生成式提示语言模型和生成式回应语言模型之间的交互,从而进一步改善生成式语言模型的意料外行为问题。

Patent Agency Ranking