一种基于关系编码和层次注意力机制的图像段落描述方法

    公开(公告)号:CN114186568B

    公开(公告)日:2022-08-02

    申请号:CN202111541714.X

    申请日:2021-12-16

    IPC分类号: G06F40/30 G06N3/04 G06N3/08

    摘要: 本发明公开了一种基于关系编码和层次注意力机制的图像段落描述方法,方法模型由关系编码模块和层次注意解码模块组成。关系编码模块通过两个编码器捕获编码空间关系信息和语义关系信息,其中语义关系编码时通过训练有监督的语义分类器来学习语义关系的先验知识。层次注意解码模块的层次注意力使用带有关系门和视觉门的层次注意力来动态的融合关系信息和物体区域特征,关系门用于在空间关系信息和语义关系信息之间切换,视觉门用于决定是否嵌入使用视觉信息,模型采用从粗粒度区域到细粒度的空间和语义关系的策略在段落生成过程中融合视觉信息。通过在斯坦福段落描述数据集上的大量实验表明,本发明方法在本领域的多个评价指标上显著优于现有方法。

    基于多文档的任务型人机对话任务的实现方法

    公开(公告)号:CN112328774A

    公开(公告)日:2021-02-05

    申请号:CN202011355592.0

    申请日:2020-11-27

    IPC分类号: G06F16/332 G06F40/35 G06N3/04

    摘要: 本申请公开了一种基于多文档的任务型人机对话任务的实现方法,包括:每轮对话结束时,利用预设人机对话任务模型对该轮对话的问答文本处理,该处理包括:基于问答文本生成问答向量;计算问答向量与各候选文档的属性相关向量的相似度;基于问答向量和相似度生成该轮对话中各候选文档的概率分布和该轮对话的属性分布;根据所述概率分布更新全局候选文档概率分布向量;根据所述属性分布更新全局属性分布向量;若满足人机对话结束条件,则基于全局候选文档概率分布向量确定任务执行结果并输出;否则,基于全局候选文档概率分布向量和全局属性分布向量,利用自然语言对话模板,确定下一提问信息。采用本发明可以提高任务执行效率和成功率,且易于实现。

    一种基于对应的深层信念网络的跨模态检索方法

    公开(公告)号:CN104462485B

    公开(公告)日:2017-12-05

    申请号:CN201410797791.5

    申请日:2014-12-18

    IPC分类号: G06F17/30

    摘要: 本发明提出了一种基于对应的深层信念网络的跨模态检索方法,该方法包括:利用特征提取方法分别获得检索目标与检索库中每一个检索成员的初级向量;检索目标的初级向量分别与检索库中每一个检索成员的初级向量,通过对应的深层信念网络获得检索目标的高级向量和检索库中每一个检索成员的高级向量;利用检索目标的高级向量和检索库中每一个检索成员的高级向量计算检索目标与检索库中每一个检索成员的距离;将检索库中与检索目标距离最近的至少一个检索成员确定为与检索目标匹配的对象。

    基于稀疏图因果时序编码的自监督群体行为识别方法及其识别系统

    公开(公告)号:CN116797972A

    公开(公告)日:2023-09-22

    申请号:CN202310756691.7

    申请日:2023-06-26

    摘要: 本发明为视频分析领域,公开了基于稀疏图因果时序编码的自监督群体行为识别方法及其识别装置。获得群体行为视频数据;基于稀疏图因果时序预测编码,构建描述群体状态时空信息变化的网络结构,网络结构包括特征提取网络、编码器与解码器。特征提取网络,用于根据群体行为视频数据提取特征向量组;编码器,根据群体行为视频数据构建的场景中个体的稀疏图;解码器,利用注意力机制建模长期线索之间的依赖关系关注最相关的历史动态,以用于预测未来群组变化;对描述群体状态时空信息变化的网络结构构建损失函数,增强自监督学习的效果;利用优化后的网络结构实现自监督条件下的群体行为识别。本发明可针对具有复杂时序关系和空间位置关系的群体行为进行建模与识别,用以解决常用的基于循环神经网络等模型在表示行为动态特征方面能力不足、识别性能欠佳的问题。

    基于文本生成图像的模型训练方法、设备和图像生成方法

    公开(公告)号:CN112990302B

    公开(公告)日:2023-03-21

    申请号:CN202110266563.5

    申请日:2021-03-11

    摘要: 本申请公开了一种基于文本生成图像的模型训练方法、设备和图像生成方法,其中方法包括基于预设训练样本集合中各训练样本的文本信息,生成文本嵌入式表示,将所述文本嵌入式表示输入至图像生成模型,触发图像生成模型基于该文本嵌入式表示,生成人造图像,并采用模态解纠缠方式,提取人造图像的真实度参数和相应训练样本的真实图像的真实度参数;基于所述人造图像,确定所述训练样本的正例和负例;利用所述图像生成模型,基于每个训练样本的正例、负例和真实图像各自对应的所述真实度参数,计算总体损失函数;利用所述总体损失函数,调整所述图像生成模型的参数。采用本申请可以提高模型学习效率和图像生成效果。

    一种基于图卷积神经网络的方面级情感分析方法及装置

    公开(公告)号:CN112528672A

    公开(公告)日:2021-03-19

    申请号:CN202011463822.5

    申请日:2020-12-14

    摘要: 本发明实施例提供了一种基于图卷积神经网络的方面级情感分析方法及装置,所述方法包括:获取待进行方面情感分析的句子,以及该待进行方面情感分析句子中的方面词;对待进行方面情感分析的句子以及方面词进行预处理,得到待进行方面情感分析的句子对应的输入向量序列以及句法加权图;将输入向量序列和句法加权图,输入预先训练的双重图卷积神经网络中,得到方面词对应的情感分析结果。本发明实施例,使用双重图卷积神经网络不仅关注句子的句法特征,还关注句子的语义特征,提取句子对应的语义相关特征,弥补了对句法不敏感的句子提取句法特征不准确的缺陷,提高情感分析结果的准确性。