-
公开(公告)号:CN115982403B
公开(公告)日:2024-02-02
申请号:CN202310085564.9
申请日:2023-01-12
Applicant: 之江实验室
IPC: G06F16/583 , G06F16/55 , G06F16/51 , G06V10/80 , G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/09
Abstract: 本发明公开了一种多模态哈希检索方法及装置,该方法包括:获取带有标签的训练数据集;构建带有Transformer Encoder模块的多模态神经网络;根据所述训练数据集中的每个多模态数据经过所述多模态神经网络生成的哈希码与该多模态数据对应的标签,设计目标损失函数;根据所述目标损失函数,采用梯度下降法更新所述多模态神经网络的参数,以训练所述多模态神经网络;获取多模态原始数据并对所述多模态原始数据进行特征工程加工;将加工后的多模态原始数据输入训练后的多模态神经网络中,生成多模态哈希码;利用所述多模态哈希码,进行哈希检索。该方法使用Transformer网络实现多模态特征融合,与单模态哈希表示学习相比,检索的平均准确率(mAP)更高。
-
公开(公告)号:CN116628198A
公开(公告)日:2023-08-22
申请号:CN202310515566.7
申请日:2023-05-08
Applicant: 之江实验室
IPC: G06F16/35 , G06F40/169 , G06F40/186
Abstract: 本说明书公开了一种文本生成模型的训练方法、装置、介质及电子设备,包括:先将从通用文本数据集中确定出的原始文本输入预先训练的类型识别模型,确定原始文本的模板标注。再根据模板标注,确定模板标注对应的目标模板。然后,根据原始文本、模板标注以及目标模板,生成训练文本生成模型的训练样本,将输入部分输入待训练的文本生成模型,得到输出文本,以样本标注与输出文本之间的差异最小为训练目标,对待训练的文本生成模型进行训练,增加了训练文本生成模型的训练样本,使得可以在训练样本较少的情况下,训练文本生成模型,使得文本生成模型训练效果好,提高文本生成模型的输出文本的准确性。
-
公开(公告)号:CN116579308A
公开(公告)日:2023-08-11
申请号:CN202310819781.6
申请日:2023-07-06
Applicant: 之江实验室
IPC: G06F40/166 , G06F40/14 , G06F40/109 , G06F40/258 , G06F40/237 , G06F40/284 , G06F40/216
Abstract: 本发明公开了一种演示文稿生成方法及装置,该方法包括:获取生成演示文稿的主题,基于预先构建并训练完成的文本生成模块,得到演示文稿的二级标题和每个二级标题下的文字内容;将所述演示文稿的主题、二级标题和每个二级标题下的文字内容结构化得到若干部分,将每个部分作为一页演示文稿,对除了首页和目录页以外的其他页进行关键词提取;基于提取出的关键词,通过文本生成图像模块生成各页演示文稿对应的配图图像;把划分后的文字内容和对应页的配图图像进行自动排版,得到完整的演示文稿。
-
公开(公告)号:CN115774736A
公开(公告)日:2023-03-10
申请号:CN202310095934.7
申请日:2023-02-10
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/245 , G06F16/2453 , G06F16/22 , G06F16/901 , G06F16/903 , G06F9/50
Abstract: 本发明公开了一种数据延迟发送的NUMA架构时变图处理方法与装置,首选基于基线快照建立初始的时变图数据表示;根据更新快照以更新时变图数据表示,并构建快照并集;基于快照并集,在NUMA节点内部进行迭代计算,更新并累积顶点数据;将累积的顶点数据传播到其他NUMA节点以更新其他顶点数据;循环上述步骤,直至每个NUMA节点内没有可计算的活动顶点,对每个NUMA节点输出的结果进行聚合,完成NUMA架构时变图的处理。本发明关注了服务器的NUMA结构特征,实现了数据的合理分配以及数据包的灵活传输,降低了NUMA节点间的通信频率,提高计算资源的利用率,使时变图的计算效率得到显著提高。
-
公开(公告)号:CN114896434B
公开(公告)日:2022-11-18
申请号:CN202210821230.9
申请日:2022-07-13
Applicant: 之江实验室
IPC: G06F16/51 , G06F16/58 , G06F16/583 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于中心相似度学习的哈希码生成方法及装置,该方法包括:获取带有标签的训练数据集;利用哈达玛矩阵,为所述训练数据集中相同标签的数据构造一个共享的哈希中心,从而得到若干哈希中心;根据所述训练数据集中的样本经过多模态神经网络生成的哈希码与该数据对应的哈希中心之间的距离,计算得到中心相似性学习的目标损失函数;根据所述中心相似性学习的目标损失函数,训练多模态神经网络;获取多模态数据并对所述多模态数据进行预处理;将预处理后的多模态数据输入训练后的多模态神经网络中,生成多模态哈希码。
-
公开(公告)号:CN116579308B
公开(公告)日:2023-10-10
申请号:CN202310819781.6
申请日:2023-07-06
Applicant: 之江实验室
IPC: G06F40/166 , G06F40/14 , G06F40/109 , G06F40/258 , G06F40/237 , G06F40/284 , G06F40/216
Abstract: 本发明公开了一种演示文稿生成方法及装置,该方法包括:获取生成演示文稿的主题,基于预先构建并训练完成的文本生成模块,得到演示文稿的二级标题和每个二级标题下的文字内容;将所述演示文稿的主题、二级标题和每个二级标题下的文字内容结构化得到若干部分,将每个部分作为一页演示文稿,对除了首页和目录页以外的其他页进行关键词提取;基于提取出的关键词,通过文本生成图像模块生成各页演示文稿对应的配图图像;把划分后的文字内容和对应页的配图图像进行自动排版,得到完整的演示文稿。
-
公开(公告)号:CN116303974B
公开(公告)日:2023-08-01
申请号:CN202310486966.X
申请日:2023-05-04
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/35 , G06F18/214 , G06N20/20
Abstract: 本申请涉及一种基于目标生成式回应语言模型的回应方法和装置。其中,该方法包括:基于教育设备中的提示数据集,训练得到初始生成式提示语言模型和初始生成式回应语言模型;并利用评分模型对二者的预测结果进行评分;基于对评分值的加权计算结果,通过强化学习和对抗学习进一步训练初始生成式提示语言模型和初始生成式回应语言模型,得到目标生成式回应语言模型;将教育设备采集的待测文本数据输入目标生成式回应语言模型,目标生成式回应语言模型将待测文本数据与对话数据进行拼接,得到相应的回应。采用本方法能生成多样的新提示,并加强生成式提示语言模型和生成式回应语言模型之间的交互,从而进一步改善生成式语言模型的意料外行为问题。
-
公开(公告)号:CN115774736B
公开(公告)日:2023-05-09
申请号:CN202310095934.7
申请日:2023-02-10
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/245 , G06F16/2453 , G06F16/22 , G06F16/901 , G06F16/903 , G06F9/50
Abstract: 本发明公开了一种数据延迟发送的NUMA架构时变图处理方法与装置,首选基于基线快照建立初始的时变图数据表示;根据更新快照以更新时变图数据表示,并构建快照并集;基于快照并集,在NUMA节点内部进行迭代计算,更新并累积顶点数据;将累积的顶点数据传播到其他NUMA节点以更新其他顶点数据;循环上述步骤,直至每个NUMA节点内没有可计算的活动顶点,对每个NUMA节点输出的结果进行聚合,完成NUMA架构时变图的处理。本发明关注了服务器的NUMA结构特征,实现了数据的合理分配以及数据包的灵活传输,降低了NUMA节点间的通信频率,提高计算资源的利用率,使时变图的计算效率得到显著提高。
-
公开(公告)号:CN114758035A
公开(公告)日:2022-07-15
申请号:CN202210661703.3
申请日:2022-06-13
Applicant: 之江实验室
Abstract: 本发明公开了一种针对未配对数据集的图像生成方法及装置,该方法包括:对第一模型和第二模型进行改进,其中所述第二模型包括第一子模型和第二子模型;将两组内部具有相同数据分布的未配对数据集作为改进后的第一模型的输入,训练改进后的第一模型,并通过改进后的第一模型训练完成后输出的两组配对数据集分别训练改进后的第一子模型和第二子模型;获取未配对数据集;将所述未配对数据集输入训练后的第一模型后,得到所述第一模型生成的第一生成数据集和第二生成数据集;将所述第一生成数据集和第二生成数据集分别输入训练后的第一子模型和第二子模型,并将所述第一子模型和第二子模型生成的第三生成数据集和第四生成数据集作为最终生成结果。
-
公开(公告)号:CN116303974A
公开(公告)日:2023-06-23
申请号:CN202310486966.X
申请日:2023-05-04
Applicant: 之江实验室
IPC: G06F16/332 , G06F40/35 , G06F18/214 , G06N20/20
Abstract: 本申请涉及一种基于目标生成式回应语言模型的回应方法和装置。其中,该方法包括:基于教育设备中的提示数据集,训练得到初始生成式提示语言模型和初始生成式回应语言模型;并利用评分模型对二者的预测结果进行评分;基于对评分值的加权计算结果,通过强化学习和对抗学习进一步训练初始生成式提示语言模型和初始生成式回应语言模型,得到目标生成式回应语言模型;将教育设备采集的待测文本数据输入目标生成式回应语言模型,目标生成式回应语言模型将待测文本数据与对话数据进行拼接,得到相应的回应。采用本方法能生成多样的新提示,并加强生成式提示语言模型和生成式回应语言模型之间的交互,从而进一步改善生成式语言模型的意料外行为问题。
-
-
-
-
-
-
-
-
-