-
公开(公告)号:CN118869908A
公开(公告)日:2024-10-29
申请号:CN202410835587.1
申请日:2024-06-26
申请人: 天津大学 , 北京酷讯科技有限公司
IPC分类号: H04N5/265 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08 , H04N21/44 , H04N21/439 , H04N5/278 , G10L13/02
摘要: 本发明公开了一种自动化相册幻灯片视频合成方法及装置,方法包括:使用图像美学评估模型对用户输入的图片进行美学质量评分,根据模型的评分结果,对图片进行排序和筛选,选择最佳的图片;利用图像理解大模型对最佳的图片进行内容分析,使用自然语言处理大模型自动生成与图片内容匹配的文案;将生成的文案转化为语音,使用语音合成生成配有时间戳的语音文件,输出格式包含时间戳的句子或短语;使用图文匹配进行分析,确保所选文案与图片内容之间的关键词匹配,应用去重策略;使用视频编辑框架,整合筛选后的图像、合成的文案、语音及音乐,自动编辑并输出最终的幻灯片视频。装置包括:处理器和存储器。
-
公开(公告)号:CN118536077A
公开(公告)日:2024-08-23
申请号:CN202410594717.7
申请日:2024-05-14
申请人: 天津大学
IPC分类号: G06F18/27 , G06F18/213 , G06F18/2131 , G06F18/25 , G06F17/13 , G06F17/14 , G06N3/045 , G06N3/0464 , G06N3/08 , G06N5/045 , G06F123/02
摘要: 本发明公开了一种数据与知识联合驱动的可解释海温预测方法及装置,方法包括:采用ASPP提取海表温度的空间全局与局部特征,采用傅里叶变换提取频域特征,并与空间全局与局部特征拼接,形成海表温度的时空融合特征;根据海洋表面热平衡方程进行辐射通量数据的耦合建模,获取各通量数据间的相互依赖关系,通过3D‑CNN实现特征融合,形成辐射通量的多变量耦合特征;使用PINN作为预测模型,将海表温度的时空融合特征、辐射通量的多变量耦合特征以及海洋动力学参数进行通道拼接形成多模态特征,将多模态特征输入至时空Transformer,通过残差相加构建海洋表面温度预测的输出值。装置包括:处理器和存储器。本发明及时发现海洋表面温度异常变化,避免人员财产的损失。
-
公开(公告)号:CN117057969A
公开(公告)日:2023-11-14
申请号:CN202311085662.9
申请日:2023-08-28
申请人: 天津大学
摘要: 本发明公开了一种跨模态图像‑水印联合生成与检测装置及方法,装置包括:多模态编码器,图像‑水印特征共嵌模块,图像‑水印特征融合模块,上采样生成器,非平衡博弈解耦模块,利用非平衡博弈理论和香农信息论制定解耦策略,通过两个解码器将复合图像解析成无水印图像和重建水印;策略分配模块,用于设置图像鉴别器,采用多规格的下采样卷积核提取复合图像特征,设置目标函数约束水印和无水印图像的重建;后处理攻击模块,用于模拟针对复合图像的后处理攻击,验证水印的鲁棒性。方法包括:通过上采样生成器合成携带盲水印的高分辨率复合图像;基于非平衡博弈理论解耦无水印图像和重建水印;利用策略分配对复合图像、无水印图像以及重建水印进行约束;通过后处理攻击对复合图像进行攻击。
-
公开(公告)号:CN118859157A
公开(公告)日:2024-10-29
申请号:CN202410975988.7
申请日:2024-07-19
申请人: 天津大学
摘要: 本发明公开了一种基于对抗生成和历史规律感知的雷达回波外推方法及装置,方法包括:将演变规律特征和编码特征相加,得到融合特征;将融合特征输入到Transformer解码器,生成未来的雷达回波图像序列;使用3D卷积神经网络作为判别网络,对未来的雷达回波图像序列与未来真值子序列进行比较,计算均方误差损失函数、逐帧对抗损失函数和帧间变化对抗损失函数,通过三种损失函数辅助网络的训练过程;输入的测试样本经由历史规律感知器得到查询向量,感知回波演变规律特征,融合经由Transformer编码器提取的测试样本的编码特征,送入解码器生成未来雷达回波图像序列预测结果,实现对未来回波变化的模拟,反演出未来的降水区域和强度。装置包括:处理器和存储器。
-
公开(公告)号:CN118470703A
公开(公告)日:2024-08-09
申请号:CN202410553788.2
申请日:2024-05-07
申请人: 天津大学
IPC分类号: G06V20/64 , G06V10/10 , G06V10/40 , G06V20/70 , G06V10/80 , G06V10/42 , G06V10/762 , G06T11/00 , G06F40/126 , G06N20/00
摘要: 本发明公开了一种基于多视点目标识别网络的三维目标识别方法,包括:基于三维目标的多样化视点位置得到初始多视图;采用预训练大模型的图像编码器对初始多视图进行编码,得到多视图特征;基于多视图特征,得到代表性视图及其语义信息损失;基于多视图特征融合网络对代表性视图进行融合,得到三维目标的全局特征;采用预训练大模型的文本编码器,得到三维目标的文本特征;基于文本特征和全局特征,得到预测结果并构建交叉熵损失,基于语义信息损失、交叉熵损失训练更新多视点目标识别网络的参数,得到训练好的多视点目标识别网络。本发明从视点位置、视图数量、特征融合三个层面优化了三维目标表征,实现三维目标识别。
-
公开(公告)号:CN118427631A
公开(公告)日:2024-08-02
申请号:CN202410513675.X
申请日:2024-04-26
申请人: 天津大学
IPC分类号: G06F18/22 , G06N5/04 , G06N3/042 , G06N3/0464 , G06N3/0442
摘要: 本发明公开了一种基于知识增强的跨模态匹配方法及装置,方法包括:基于多模态聚类的外源知识信息,利用多头注意力机制对输入的图像特征和文本特征进行编码,得到编码后的图像特征和编码后的文本特征;获取基于多模态聚合的区域语义知识信息,利用标签信息的引导,将图像区域特征与标签信息进行聚合,利用聚合后的特征,与编码后的文本特征通过多步推理的图卷积网络进行交互,获取基于多模态聚合的区域语义知识信息;基于多模态聚合的区域语义知识信息,通过门控机制,对编码后的图像特征和编码后的文本特征进行增强,得到增强后的图像特征和增强后的文本特征;对增强后的图像特征和增强后的文本特征同时使用全局和局部对齐的自适应联合推理,实现图像和文本对的跨模态匹配。装置包括:处理器和存储器。
-
公开(公告)号:CN117614687A
公开(公告)日:2024-02-27
申请号:CN202311583938.6
申请日:2023-11-24
申请人: 天津大学
IPC分类号: H04L9/40 , G06N3/042 , G06N3/0464 , G06N3/045 , G06N3/094
摘要: 本发明公开了一种增强社交网络安全社交机器人账号检测与防御方法及装置,方法包括:部署一基于图节点注入的对抗攻击策略,用以模拟新社交机器人节点的注入;将筛选后的有效扰动节点添加至社交网络图中,创建含有对抗性扰动的社交网络图;在获取所有新增节点后,将其与原始训练样本集合并,构建新的对抗训练样本集;启动社交机器人检测模型的对抗训练过程,并引入重加权机制;构建复合损失函数,融合原始样本的训练损失与新增节点的对抗损失;在完成对抗训练并获得增强鲁棒性的社交机器人检测模型后,用于识别和检测潜在的社交机器人账户。装置包括:处理器和存储器。本发明加强对网络平台的监管和检测,对网络攻击加强清洁和抵御能力。
-
公开(公告)号:CN116886369A
公开(公告)日:2023-10-13
申请号:CN202310888815.7
申请日:2023-07-19
申请人: 天津大学
摘要: 本发明公开了一种社交机器人账号防检测的方法及装置,方法包括:使用社交网络中的账号信息和关系数据,训练社交网络机器人账号检测替代模型用于黑盒攻击;使用社交网络机器人账号检测替代模型辅助单节点注入对抗性攻击模型训练,生成注入节点的嵌入和边信息;将得到的注入节点的嵌入恢复为账号原始数据形式,使用社交网络中各账号数字属性特征和分类属性特征分别训练两个多层感知机用于生成的数字属性嵌入和分类属性嵌入的特征恢复;将恢复出来的账号原始数据以账号的形式,根据生成的边信息加入原始社交网络中,实现社交机器人账号的防检测。装置包括:处理器和存储器。本发明使得目标机器人和新注入的机器人都无法被机器人检测模型检测成机器人。
-
公开(公告)号:CN115600677A
公开(公告)日:2023-01-13
申请号:CN202211278586.9
申请日:2022-10-19
申请人: 天津大学(CN)
IPC分类号: G06N5/04 , G06N20/00 , G06F18/2431
摘要: 本发明公开了一种针对序列推荐系统成员推断攻击推理系统及方法,包括标签数据生成模块、差异特征构造模块以及攻击模型训练模块;步骤1、进行标签数据生成;步骤2、进行成员和非成员的差异特征构造;步骤3、进行攻击模型的训练。与现有技术相比,本发明可以在更广泛的场景下保证用户的数据隐私;填补了更严格场景下进行成员推断攻击的空白;显著提高了攻击推断效果。
-
公开(公告)号:CN118297422A
公开(公告)日:2024-07-05
申请号:CN202410399499.1
申请日:2024-04-03
申请人: 天津大学
IPC分类号: G06Q10/0637 , G01W1/10 , G01W1/00 , G01D21/02 , G01S13/95 , G01S7/02 , G01S7/41 , G06Q50/26 , G06N3/0464 , G06N3/0442 , G06N3/045 , G06N3/096 , G06F18/25
摘要: 本发明公开了一种先验知识和多源数据辅助的短临降雨预报方法及装置,方法包括:获取由地形高程特征信息、风场特征信息、温度特征信息、湿度特征信息组成的多源数据信息;将多源数据信息经过通道拼接和卷积操作之后得到的多源数据融合特征设置为卷积门控循环网络的初始隐藏状态;在训练模型的过程中实现多源数据融合,达到多源数据特征信息辅助预测降雨的目的;将降雨预训练模型作为教师网络,卷积门控循环网络作为学生网络,利用知识蒸馏技术对齐教师网络和学生网络的预测输出以及预测输出的概率分布,为学生网络引入教师网络的先验知识辅助降雨预报。装置包括:处理器和存储器。本发明提高了预测精度,及时发现降雨灾害,减少人员伤亡。
-
-
-
-
-
-
-
-
-