-
公开(公告)号:CN109272013B
公开(公告)日:2021-09-14
申请号:CN201810879213.4
申请日:2018-08-03
申请人: 天津大学 , 中国电子技术标准化研究院
IPC分类号: G06K9/62
摘要: 本发明公开了一种基于学习的相似性度量方法,包括:给定立体模型的视图,筛选具有代表性的视图构造一个基于视图的超图来表征立体对象之间的关系;利用立体模型数据,从每个立体模型中提取空间结构圆形描述符,并且使用每个立体模型之间的距离来生成简单基于模型的图以探索立体模型之间的关联性;选定合适的学习框架,生成初始的学习权重,将基于视图生成的超图和基于立体模型生成的图作为学习框架的输入,通过联合学习框架来学习两种图的最优组合权重,从而通过基于视图的超图和基于立体模型的图来估计立体对象之间的相关性。本发明通过提取视图特征信息和立体模型空间结构信息,使得对立体模型的描述更加全面,在相似度量化方面更加准确和科学。
-
公开(公告)号:CN109272013A
公开(公告)日:2019-01-25
申请号:CN201810879213.4
申请日:2018-08-03
申请人: 天津大学 , 中国电子技术标准化研究院
IPC分类号: G06K9/62
摘要: 本发明公开了一种基于学习的相似性度量方法,包括:给定立体模型的视图,筛选具有代表性的视图构造一个基于视图的超图来表征立体对象之间的关系;利用立体模型数据,从每个立体模型中提取空间结构圆形描述符,并且使用每个立体模型之间的距离来生成简单基于模型的图以探索立体模型之间的关联性;选定合适的学习框架,生成初始的学习权重,将基于视图生成的超图和基于立体模型生成的图作为学习框架的输入,通过联合学习框架来学习两种图的最优组合权重,从而通过基于视图的超图和基于立体模型的图来估计立体对象之间的相关性。本发明通过提取视图特征信息和立体模型空间结构信息,使得对立体模型的描述更加全面,在相似度量化方面更加准确和科学。
-
公开(公告)号:CN109308486A
公开(公告)日:2019-02-05
申请号:CN201810879184.1
申请日:2018-08-03
申请人: 天津大学 , 中国电子技术标准化研究院
IPC分类号: G06K9/62
摘要: 本发明公开了一种基于深度学习的多源图像融合和特征提取算法,包括:将数据库中的每个三维模型置于一个虚拟的正十二面体中,将虚拟相机安置在正十二面体的均匀分布的二十个顶点上,从三维空间的视点中对原始物体进行虚拟拍照,得到单个目标的二十个视图,构成多视图模型数据库;将多视图模型数据库按照7:2:1的比例划分为训练集、测试集和验证集,利用视图姿态标签这一隐变量重新定义损失函数,通过反向传播算法最小化损失函数;在最小化损失函数后,神经网络最后一层通过softmax级联输出单个目标的多个视图,在候选视图姿态标签的约束下所属类别的得分。本发明避免了对特征所处空间的依赖,提高了目标分类的精度。
-
公开(公告)号:CN118427631A
公开(公告)日:2024-08-02
申请号:CN202410513675.X
申请日:2024-04-26
申请人: 天津大学
IPC分类号: G06F18/22 , G06N5/04 , G06N3/042 , G06N3/0464 , G06N3/0442
摘要: 本发明公开了一种基于知识增强的跨模态匹配方法及装置,方法包括:基于多模态聚类的外源知识信息,利用多头注意力机制对输入的图像特征和文本特征进行编码,得到编码后的图像特征和编码后的文本特征;获取基于多模态聚合的区域语义知识信息,利用标签信息的引导,将图像区域特征与标签信息进行聚合,利用聚合后的特征,与编码后的文本特征通过多步推理的图卷积网络进行交互,获取基于多模态聚合的区域语义知识信息;基于多模态聚合的区域语义知识信息,通过门控机制,对编码后的图像特征和编码后的文本特征进行增强,得到增强后的图像特征和增强后的文本特征;对增强后的图像特征和增强后的文本特征同时使用全局和局部对齐的自适应联合推理,实现图像和文本对的跨模态匹配。装置包括:处理器和存储器。
-
公开(公告)号:CN117874253A
公开(公告)日:2024-04-12
申请号:CN202410028385.6
申请日:2024-01-09
申请人: 天津大学
IPC分类号: G06F16/36 , G06F18/214 , G06F18/241 , G06F18/25 , G06N5/043 , G06N5/022 , G06F16/31
摘要: 本发明公开了一种基于自适应知识推理的视觉关系识别方法及装置,包括:以视觉上下文表征为均值,常识表征为方差,将两者映射到相同维度的特征空间,通过高斯概率模型进行视觉与常识表征的融合建模,输出关系空间;将每个采样变量通过独立的分类器得到相应的预测分布,同时将视觉上下文表征通过分类器,输出基准预测分布构成多专家预测;将视觉上下文表征和多专家分布进行结合,得到分布评估函数,用于评估每个预测分布与视觉上下文表征的相关性;利用分布评估函数对每个预测分布进行评估,构建路由选择函数;利用路由选择函数的输出对多专家预测分布进行加权求和平均,与基准分布进行乘积,最终输出的分布用于预测该物体对的关系类别进行安全监控判断。
-
公开(公告)号:CN117648932A
公开(公告)日:2024-03-05
申请号:CN202311692771.7
申请日:2023-12-11
申请人: 天津大学 , 杭州电子科技大学 , 中国电子科技集团公司第三十研究所
IPC分类号: G06F40/30 , G06F40/295 , G06F18/213 , G06F18/25 , G06F18/22 , G06N3/0499 , G06N3/084
摘要: 本发明公开了一种基于外源知识的新闻描述生成方法及装置,方法包括:构建新闻感知的语义规则知识,并输入到CLIP获得上下文表征,对上下文表征进行线性变换获取最终规则知识特征;对新闻图像描述数据集中的每个图像‑新闻文章组合,分别提取图像特征和新闻文章特征,将两类特征融合,形成一个多模态上下文表征;将基于规则知识驱动的新闻图像描述任务视为多模态摘要任务,并进行深度的问题建模获取摘要生成模型;基于新闻感知的语义规则知识,对摘要生成模型进行微调,生成符合新闻报道基本规则的新闻图像描述。装置包括:处理器和存储器。本发明提高了新闻图像描述的准确性。
-
公开(公告)号:CN117614687A
公开(公告)日:2024-02-27
申请号:CN202311583938.6
申请日:2023-11-24
申请人: 天津大学
IPC分类号: H04L9/40 , G06N3/042 , G06N3/0464 , G06N3/045 , G06N3/094
摘要: 本发明公开了一种增强社交网络安全社交机器人账号检测与防御方法及装置,方法包括:部署一基于图节点注入的对抗攻击策略,用以模拟新社交机器人节点的注入;将筛选后的有效扰动节点添加至社交网络图中,创建含有对抗性扰动的社交网络图;在获取所有新增节点后,将其与原始训练样本集合并,构建新的对抗训练样本集;启动社交机器人检测模型的对抗训练过程,并引入重加权机制;构建复合损失函数,融合原始样本的训练损失与新增节点的对抗损失;在完成对抗训练并获得增强鲁棒性的社交机器人检测模型后,用于识别和检测潜在的社交机器人账户。装置包括:处理器和存储器。本发明加强对网络平台的监管和检测,对网络攻击加强清洁和抵御能力。
-
公开(公告)号:CN116992261A
公开(公告)日:2023-11-03
申请号:CN202310757183.0
申请日:2023-06-26
IPC分类号: G06F18/213 , G06F18/24 , G06N3/09 , G06N3/094
摘要: 本发明公开了一种基于模态特定表征学习的媒体立场识别方法,包括:采用对抗学习从多模态数据中提取模态一致特征以及模态特定特征;将模态内特定特征输入到基于自监督学习策略的标签生成中,获得独立的单模态监督;对模态内特定特征采用跨模态注意力机制以获得以文本模态为主模态的模态间互补信息,更新模态内特定特征;拼接更新后的模态内特定特征和模态一致性特征作为媒体数据多模态表征;利用基于自监督学习策略的标签生成部分生成的各个模态标签和真实媒体数据情感立场标签,联合训练多模态和单模态任务,对媒体数据多模态表征进行约束优化,对优化后的媒体数据多模态表征进行识别得到每个媒体数据所属的立场类别。本发明基于自监督多任务学习架构实现媒体情感立场识别精度的提升,有效推动网络安全事业的发展。
-
公开(公告)号:CN116886369A
公开(公告)日:2023-10-13
申请号:CN202310888815.7
申请日:2023-07-19
申请人: 天津大学
摘要: 本发明公开了一种社交机器人账号防检测的方法及装置,方法包括:使用社交网络中的账号信息和关系数据,训练社交网络机器人账号检测替代模型用于黑盒攻击;使用社交网络机器人账号检测替代模型辅助单节点注入对抗性攻击模型训练,生成注入节点的嵌入和边信息;将得到的注入节点的嵌入恢复为账号原始数据形式,使用社交网络中各账号数字属性特征和分类属性特征分别训练两个多层感知机用于生成的数字属性嵌入和分类属性嵌入的特征恢复;将恢复出来的账号原始数据以账号的形式,根据生成的边信息加入原始社交网络中,实现社交机器人账号的防检测。装置包括:处理器和存储器。本发明使得目标机器人和新注入的机器人都无法被机器人检测模型检测成机器人。
-
公开(公告)号:CN116662596A
公开(公告)日:2023-08-29
申请号:CN202310690876.2
申请日:2023-06-12
申请人: 天津大学 , 杭州电子科技大学 , 中国电子科技集团公司第三十研究所
IPC分类号: G06F16/583 , G06F16/535 , G06V20/70 , G06N3/0464 , G06N3/08
摘要: 本发明公开了一种基于常识引导的文本到图像生成方法及装置,通过将丰富的常识知识描述分步、逐一地加入上采样融合块的方式,建立知识描述与生成图像区域的语义映射关系,增强生成图像区域的视觉真实性,最后通过融合所有图像区域合成高质量图像。方法包括:检索ConceptNet外部常识库中的相关常识三元组并对其进行过滤;对输入的描述语句进行场景图解析得到场景三元组;将原始语句和知识描述输入到生成对抗网络的生成器中生成图像;判别器计算对抗损失,并更新生成器网络的参数;生成器和判别器进行交替优化,最终生成质量最好的图像用于新闻内容智能生成领域。装置包括:处理器和存储器。
-
-
-
-
-
-
-
-
-