基于多层注意力机制的跨模态检索模型的构建方法及应用

    公开(公告)号:CN113779361B

    公开(公告)日:2024-09-10

    申请号:CN202110995974.8

    申请日:2021-08-27

    摘要: 本发明公开了一种基于多层注意力机制的跨模态检索模型的构建方法及应用,包括:S1、搭建跨模态检索模型;S2、计算图像模态和文本模态间的不变性损失、标签空间损失、以及公共表示空间中不同模态间和各个模态内的判别损失,加以不同的权重,得到跨模态检索模型的损失函数;S3、通过最小化跨模态检索模型的损失函数对跨模态检索模型进行训练。本发明在训练过程中,通过考虑不同模态之间的相互影响,分别对各图像文本数据对基于多层注意力机制学习其文本特征和图像特征内细粒度的上下文局部信息,以及学习其文本特征和图像特征之间的全局特征对应关系,充分利用了原始数据中的语义信息,将多模态特征进行融合,大大提高了跨模态检索的准确度。

    基于多层注意力机制的跨模态检索模型的构建方法及应用

    公开(公告)号:CN113779361A

    公开(公告)日:2021-12-10

    申请号:CN202110995974.8

    申请日:2021-08-27

    摘要: 本发明公开了一种基于多层注意力机制的跨模态检索模型的构建方法及应用,包括:S1、搭建跨模态检索模型;S2、计算图像模态和文本模态间的不变性损失、标签空间损失、以及公共表示空间中不同模态间和各个模态内的判别损失,加以不同的权重,得到跨模态检索模型的损失函数;S3、通过最小化跨模态检索模型的损失函数对跨模态检索模型进行训练。本发明在训练过程中,通过考虑不同模态之间的相互影响,分别对各图像文本数据对基于多层注意力机制学习其文本特征和图像特征内细粒度的上下文局部信息,以及学习其文本特征和图像特征之间的全局特征对应关系,充分利用了原始数据中的语义信息,将多模态特征进行融合,大大提高了跨模态检索的准确度。

    基于融合注意力机制的人脸超分辨率方法及系统

    公开(公告)号:CN112750082B

    公开(公告)日:2023-05-16

    申请号:CN202110081811.9

    申请日:2021-01-21

    摘要: 本发明公开了一种基于融合注意力机制的人脸超分辨率方法及系统,属于人脸图像超分辨率领域,该方法包括:将高分辨率人脸图像下采样至目标低分辨率人脸图像后,进行分块操作,分出相互重叠的图像块后,使用浅层特征提取器提取浅层特征;融合像素、通道和空间三重注意力模块的特征,增强重建的人脸面部结构细节;构建融合注意力网络作为深层特征提取器,将浅层的面部特征输入融合注意力网络获得深层特征,融合注意力网络包含若干融合注意力组,各融合注意力组包括若干融合注意力块;将深层特征图进行上采样,将上采样后的人脸特征图重建成目标的高分辨率人脸图像。本发明优于其他最新的人脸图像超分辨率算法,能生成更高质量的人脸高分辨率图像。

    一种智能组卷装置及方法

    公开(公告)号:CN112989783B

    公开(公告)日:2023-09-19

    申请号:CN202110365031.7

    申请日:2021-03-31

    摘要: 本申请涉及一种智能组卷装置及方法,涉及教育考试技术领域,该智能组卷装置包括:题库读取模块,用于接收EXCEL题库文档,并按照预设的题库关键信息对EXCEL题库文档中的所有题目进行信息提取,建立题库统计数据;需求核实模块,用于接收筛题需求信息,并判断筛题需求信息的合理性,当筛题需求信息不合理时生成修正提示;题目筛选模块,用于根据通过合理性判断的筛题需求信息,在题库统计数据中查找符合的题目,作为待组卷题目;智能组卷模块,用于根据所有的待组卷题目,生成对应的试卷。本申请读取EXCEL形式的题库题目,进行类型和数量的统计,并按照标准格式输出WORD试卷并附带答案,达到快速智能生成标准排版后的WORD试卷及答案的效果。

    基于感知哈希的显著性区域检测方法、设备及存储设备

    公开(公告)号:CN112633294A

    公开(公告)日:2021-04-09

    申请号:CN202011434886.2

    申请日:2020-12-10

    摘要: 本发明提供了一种基于感知哈希的显著性区域检测方法、设备及存储设备,主要是面向搭载树莓派视觉感知的无人机平台。首先,将图像转化为灰度图像,把图像分成互不重叠的图像块,对所有图像块进行DCT变换,计算每个DCT系数矩阵的均值,然后,得到每个图像块的哈希指纹,计算每个图像块与全图其他图像块的汉明距离,并基于图像块间的位置信息对所有汉明距离进行加权求和,以此表征该图像块的显著性值,确定初步显著图;进而通过阈值分割,得到最终显著图,实现显著性区域检测。一种基于感知哈希的显著性区域检测设备及存储设备,用于实现基于感知哈希的显著性区域检测方法。本发明的有益效果是:计算简单、易于实现,能快速检测显著性目标区域。

    一种用于远距离部署网络设备的系统及方法

    公开(公告)号:CN112468344A

    公开(公告)日:2021-03-09

    申请号:CN202011443553.6

    申请日:2020-12-08

    IPC分类号: H04L12/24

    摘要: 本发明公开了一种用于远距离部署网络设备的系统及方法,涉及通信领域,该系统包括核心控制模块和设于待部署网络设备内的设备信息模块和终端控制模块;所述设备信息模块用于对待部署网络设备的设备基本信息进行存储;所述核心控制模块用于获取待部署网络设备的设备基本信息后生成相应的控制命令,并将生成的控制命令发送给终端控制模块;所述终端控制模块用于接收并执行核心控制模块发出的控制命令,完成待部署网络设备的远程部署。本发明能够实现对待部署网络设备的远距离部署,极大地节约专业人员的使用数量以及专业人员的劳动强度,从而提升网络设备的部署效率。