一致性约束的跨域多视角目标识别方法及装置

    公开(公告)号:CN116129205A

    公开(公告)日:2023-05-16

    申请号:CN202310149726.0

    申请日:2023-02-17

    申请人: 天津大学

    摘要: 本发明公开了一种一致性约束的跨域多视角目标识别方法及装置,包括:设计基于引力场的特征嵌入空间,通过对支点特征的选择以及特征移动机制,构建特征引力场,引导跨域样本移动到特征分布空间的合适位置;基于原型学习使用标记的源域特征更新源域原型,使用伪标记的目标域特征更新目标域原型,实现语义表示的学习;使用实例和原型之间的相似性来代替对类别的概率预测,利用相似度将实例与所有原型关联起来,中和错误伪标签对目标原型计算的影响;引用一致性正则化项来约束相似性度量,使用KL散度构建实例与原型相似度的一致性;以单个实例为基准或构建实例对,增强跨域多视角目标检索性能。

    基于元学习的厄尔尼诺极端天气预警方法及装置

    公开(公告)号:CN115113303A

    公开(公告)日:2022-09-27

    申请号:CN202210703932.7

    申请日:2022-06-21

    摘要: 本发明公开了一种基于元学习的厄尔尼诺极端天气预警方法及装置,包括:设计全局引导的注意力机制引导低层特征的学习,并利用互信息约束加强不同层级海洋特征的表征一致性,将多层级海洋特征拼接为全局特征,利用该全局特征对厄尔尼诺指数进行预测;对每个元训练任务,利用元学习算法对多层级厄尔尼诺指数预测网络进行参数训练,得到能够处理不同时期数据,且有适应能力的网络参数;以元训练阶段优化好的参数作为初始化参数,在SODA数据集上对多层级厄尔尼诺指数预测网络进行进一步微调;在GODAS数据集上进行最终厄尔尼诺指数预测;建立最终厄尔尼诺指数与降雨量的映射函数,当预测降雨量达到一定阈值时进行预警并提前进行汛期防治工作。

    一种跨模态多视角目标检索方法及装置

    公开(公告)号:CN113515657B

    公开(公告)日:2022-06-14

    申请号:CN202110761048.4

    申请日:2021-07-06

    申请人: 天津大学

    摘要: 本发明公开了一种跨模态多视角目标检索方法及装置,方法包括:基于三维模型的多视角序列,利用CNN提取2D图像特征和三维模型的多视角序列特征;利用最大池化将三维模型的多视角序列特征融合成一个三维全局特征;通过鉴别器对2D图像特征和三维全局特征进行全局的特征分布对齐;将所有类别划分成小部分簇,并将不同模态相同簇的中心特征对齐,挖掘簇级别的语义信息;不断增加簇的个数进行迭代训练,逐渐细化簇级别的语义信息;当簇的个数和类别总数相同时,将每个簇中心特征切割成M块进行局部的特征分布对齐,挖掘显著性特征外的信息。装置包括:处理器和存储器。本发明提高了跨模态三维多视角目标检索的准确性。

    基于多阶段分类器网络的跨域多视角目标检索方法及装置

    公开(公告)号:CN113779287A

    公开(公告)日:2021-12-10

    申请号:CN202111024481.6

    申请日:2021-09-02

    申请人: 天津大学

    摘要: 本发明公开了一种基于多阶段分类器网络的跨域多视角目标检索方法及装置,相比于传统方法过度依赖静态的具有较高复杂度学习器,本发明考虑了不同样本间可转移性的差异,通过在网络中加入多个中间分类器,在训练中根据样本不同阶段特征动态地判断样本是否“容易”转移。通过样本在不同分类器前特征进行相似性度量来计算置信度分数这一策略判断各分类器的预测一致性,并得到准确的目标伪标签;同时在保证输入类别多样性的前提下重新对目标样本筛选以训练从源域到目标域的多阶段分类器。在针对多视图表示的三维模型跨域检索上,通过融合不同分类器前的特征以获取样本特征的全局表示。基于以上操作能够在传统检索指标上获得更好的性能,提升检索效果。

    基于多模态图卷积神经网络的社交网络突发事件检测方法

    公开(公告)号:CN113051927A

    公开(公告)日:2021-06-29

    申请号:CN202110265390.5

    申请日:2021-03-11

    申请人: 天津大学

    摘要: 本发明公开了一种基于多模态图卷积神经网络的社交网络突发事件检测方法,包括:针对图片信息,利用目标检测模型对图片中的关键性视觉目标进行检测和特征提取,根据视觉目标之间的相互关系构建视觉图结构;针对文本信息,利用自然语言处理对句子中的每个词汇进行特征提取,学习词汇之间的语义依赖关系构建文本图结构;利用图卷积神经网络分别在视觉图结构和文本图结构上进行特征更新,挖掘不同视觉目标以及不同词汇之间的相互关系,以学习得到包含丰富语义信息的特征表示;利用池化操作,在视觉图结构中将多个视觉目标特征聚合为整体视觉特征,在文本图结构中将多个词汇特征聚合为整体文本特征,将视觉特征和文本特征组合为全局特征进行事件类型检测和识别。

    联合低秩表示和稀疏回归的多视角学习方法

    公开(公告)号:CN107545276B

    公开(公告)日:2021-02-05

    申请号:CN201710648597.4

    申请日:2017-08-01

    申请人: 天津大学

    IPC分类号: G06K9/62

    摘要: 本发明公开了一种联合低秩表示和稀疏回归的多视角学习方法,所述方法包括以下步骤:对带有图像记忆度分数标签的SUN数据集分别进行低级特征和高级属性特征的提取;将低秩表示、结合稀疏回归模型和多视角一致性损失三部分放在同一个框架下构成一个整体,构建联合低秩和稀疏回归的多视角模型;利用多视觉自适应回归算法解决自动预测图像的可记忆性的问题,在最优参数下得到图像底层特征、图像属性特征和图像记忆度的关系;组合图像的低级特征和高级属性特征,利用在最优参数下得到的关系结果,预测数据库测试集图像记忆度,并用相关评价标准来验证预测结果。本发明联合低秩表示和稀疏回归的多视角学习框架,准确预测图像区域的可记忆性。

    一种基于多图匹配的三维模型检索方法

    公开(公告)号:CN106951501B

    公开(公告)日:2020-05-12

    申请号:CN201710156413.2

    申请日:2017-03-16

    申请人: 天津大学

    IPC分类号: G06F16/532

    摘要: 本发明公开了一种基于多图匹配的三维模型检索方法,包括以下步骤:结合相似性最大原理、一元或二元匹配一致性原理,对初始匹配矩阵进行一元或二元逐步一致性正则化计算,找到多视图中最佳的中间级图;根据节点匹配一致性、掩膜、最佳的中间级图,获取转换后的一元匹配一致性或二元匹配一致性;重复上述步骤,构建相似性超图或一致性超图,利用最大生成树算法生成最终匹配矩阵;对最终匹配矩阵进行归一化处理,获取到的列序列即为数据库中两两三维模型之间的相似度;对相似度进行排序,从而实现三维模型的检索。本发明有效避免了变形噪声和异常值的产生,将图匹配与三维模型数据库的整体信息相结合,提高了图匹配检索的效率和精度。