-
公开(公告)号：CN113657116B
公开(公告)日：2023-08-08
申请号：CN202110895131.0
申请日：2021-08-05
IPC分类号： G06F40/30 , G06F40/284 , G06F40/126 , G06F40/216 , G06V30/40 , G06V30/19 , G06V10/82
摘要： 本发明公开了一种基于视觉语义关系的社交媒体流行度预测方法及装置，方法包括：利用预训练的场景图生成器从帖子的图像中提取成对的对象以及它们之间的谓词联系，生成 关系；使用词向量模型将上述关系编码为语义特征；对帖子的其他数据进行编码，得到文本特征、数值特征和附加用户特征，并与语义特征进行连接；针对测试集部分帖子的用户在训练集中的缺失问题，利用连接的多模态特征分别训练两个Catboost模型，线性结合输出得到初步的流行度分数；利用训练集数据，针对帖子内容对初步的流行度分数进行微调，平衡用户信息带来的模型预测误差，从而得到最终的流行度分数。装置包括：处理器和存储器。本发明提高了流行度预测的准确度。
-
公开(公告)号：CN113553418B
公开(公告)日：2023-06-02
申请号：CN202110848206.X
申请日：2021-07-27
IPC分类号： G06F16/332 , G06F16/583 , G06F40/211 , G06F40/30 , G06F40/253 , G06N3/0442 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/08
摘要： 本发明公开了一种基于多模态学习的视觉对话生成方法及装置，方法包括：利用关键信息进行全局上下文信息语义补充，提取与当前问题相关的历史对话信息，获取精简历史信息；再提取与文本信息相关的视觉区域信息，获取精简视觉信息；将多模态问题相关信息进行融合得到多模态问题相关信息，作为答案推理的重要元素；用文本和视觉的问题相关信息对三元组结构化表征进行语义补全，以补全在多模态信息精简化过程中损失掉的有效信息；将精简历史信息、精简视觉信息、补全后的多模态问题相关信息进行特征融合；将特征融合信息送入解码器中推理得到与当前问题相关的答案。装置包括：处理器和存储器。本发明采用多模态信息交互，对文本和视觉信息发掘细粒度关系信息。
-
公开(公告)号：CN113657116A
公开(公告)日：2021-11-16
申请号：CN202110895131.0
申请日：2021-08-05
IPC分类号： G06F40/30 , G06F40/284 , G06F40/126 , G06F40/216 , G06K9/00 , G06K9/62 , G06Q10/04 , G06Q50/00
摘要： 本发明公开了一种基于视觉语义关系的社交媒体流行度预测方法及装置，方法包括：利用预训练的场景图生成器从帖子的图像中提取成对的对象以及它们之间的谓词联系，生成 关系；使用词向量模型将上述关系编码为语义特征；对帖子的其他数据进行编码，得到文本特征、数值特征和附加用户特征，并与语义特征进行连接；针对测试集部分帖子的用户在训练集中的缺失问题，利用连接的多模态特征分别训练两个Catboost模型，线性结合输出得到初步的流行度分数；利用训练集数据，针对帖子内容对初步的流行度分数进行微调，平衡用户信息带来的模型预测误差，从而得到最终的流行度分数。装置包括：处理器和存储器。本发明提高了流行度预测的准确度。
-
公开(公告)号：CN113553418A
公开(公告)日：2021-10-26
申请号：CN202110848206.X
申请日：2021-07-27
IPC分类号： G06F16/332 , G06F16/583 , G06F40/211 , G06F40/30 , G06F40/253 , G06N3/04 , G06N3/08
摘要： 本发明公开了一种基于多模态学习的视觉对话生成方法及装置，方法包括：利用关键信息进行全局上下文信息语义补充，提取与当前问题相关的历史对话信息，获取精简历史信息；再提取与文本信息相关的视觉区域信息，获取精简视觉信息；将多模态问题相关信息进行融合得到多模态问题相关信息，作为答案推理的重要元素；用文本和视觉的问题相关信息对三元组结构化表征进行语义补全，以补全在多模态信息精简化过程中损失掉的有效信息；将精简历史信息、精简视觉信息、补全后的多模态问题相关信息进行特征融合；将特征融合信息送入解码器中推理得到与当前问题相关的答案。装置包括：处理器和存储器。本发明采用多模态信息交互，对文本和视觉信息发掘细粒度关系信息。
-
公开(公告)号：CN116363379A
公开(公告)日：2023-06-30
申请号：CN202310431949.6
申请日：2023-04-21
申请人： 天津大学
IPC分类号： G06V10/40 , G06V10/774 , G06V10/764
摘要： 本发明公开了一种基于多视角联合的海上目标识别方法及装置，包括：使用三维采样策略对视图序列进行整体采样并添加位置嵌入，生成可见块和掩码块；使用编码器对可见块进行编码，得到可见标记，并为所有掩码块生成一个共享的可学习向量作为掩码标记；解码器根据可见标记和掩码标记重建输入的视图序列，计算像素空间中重建掩码块和原始掩码块的均方误差得到视图重建损失；使用动态更新的长存储队列构建包含当前批数据在内的海上目标可见标记集，并用基于图的无参方法进行实例级关联信息挖掘，学习相似海上目标之间的关联信息，得到相似模型损失；将视图重建损失与相似模型损失之和作为网络的目标函数进行迭代优化，最终将编码器作为海上目标的特征提取器，进行多视角海上目标识别。
-
公开(公告)号：CN116299773A
公开(公告)日：2023-06-23
申请号：CN202310088520.1
申请日：2023-02-09
申请人： 天津大学
IPC分类号： G01W1/10
摘要： 本发明公开了一种多模态时空补偿的团雾预警方法及装置，方法包括：计算相邻时刻数据编码和图像编码的相对增量作为变化率，将变化率大的时刻作为团雾形成时刻；利用基于语义匹配的跨模态信息交互部分将包含团雾视觉空间信息的图像编码与包含气象要素时序信息的数据编码进行融合以实现时空特征补偿；构建模态交错指导分类器，在分类器层面进行跨模态信息交互，对齐不同模态下相同类别对象的预测概率分布，学习跨模态团雾共有特征；根据模态交错指导分类器输出的概率分布，若预测团雾概率大于阈值，则判定为特定时间后会发生海洋团雾，发出预警信号。装置包括：处理器和存储器。
-
公开(公告)号：CN111325243B
公开(公告)日：2023-06-16
申请号：CN202010079031.6
申请日：2020-02-03
申请人： 天津大学
IPC分类号： G06V20/70 , G06V10/764 , G06V10/80 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/08
摘要： 本发明公开了一种基于区域注意力学习机制的视觉关系检测方法，所述方法包括：获取三元组图结构，并将其聚合邻节点后的特征进行组合，作为第二图结构的节点，依据等概率边进行连接，构成第二图结构；将第二图结构节点特征与对应三元组实体对象节点的特征进行组合，组合后作为视觉注意力机制同时融合两个实体对象所提取的内部区域视觉特征，将其作为三元组中相应实体对象节点进行下一次消息传播时的视觉特征；在一定消息传播次数之后，输出的三元组节点特征和第二图结构的节点特征进行视觉特征组合，以此综合推理对象组之间的谓词。本发明能够识别在不同视觉关系下实体对象所关注的内部区域，从而来提高视觉关系检测的精度。
-
公开(公告)号：CN116152620A
公开(公告)日：2023-05-23
申请号：CN202310165438.4
申请日：2023-02-24
申请人： 天津大学
IPC分类号： G06V10/80 , G01S13/95 , G01W1/10 , G06V10/52 , G06V10/62 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/047 , G06N3/084 , G06N3/09
摘要： 本发明公开了一种基于多尺度时空一致性的短临降雨预测方法和装置，方法包括：利用获得的降雨时序特征对空间分布特征进行编码约束，获得降雨时空融合特征；利用多尺度时空一致性监督，对不同尺度下的降雨时空融合特征数据进行高斯分布拟合，将不同尺度下特征之间的差异性作为监督损失；利用近邻差一致性，对获取的预测降雨图中的邻近雨像素进行相互约束，保证局部降雨的关联性；在特征图级别和像素级别分别计算损失函数，并与一致性监督损失以及近邻差一致性损失相加作为全局损失，用于神经网络的优化训练，得到最佳短临降雨预测模型用于短临降雨的预测。装置包括：处理器和存储器。本发明实现了对短临降雨的有效预测，提高了灾害预警能力。
-
公开(公告)号：CN113515656B
公开(公告)日：2022-10-11
申请号：CN202110761047.X
申请日：2021-07-06
申请人： 天津大学
IPC分类号： G06V10/764 , G06V10/80 , G06V10/82 , G06N3/04 , G06N3/08
摘要： 本发明公开了一种基于增量学习的多视角目标识别与检索方法、及装置，所述方法包括：将三维模型的视图序列以单个类别或几个类别为单位划分成多个任务序列，将任务序列以数据流的方式，输入到神经网络中；在神经网络上添加一基于特征蒸馏的稳定性模块，用于约束旧类别目标特征的演变；在分类器上添加一基于知识蒸馏的可塑性模块，用于提升对新类别目标的适应能力；使用神经网络提取视图序列中的每个视图特征并生成视图特征序列，将视图特征序列融合成一特征描述符，利用特征描述符进行多视目标的识别与检索。所述装置包括：处理器和存储器。本发明利用稳定性模块和可塑性模块，提高了增量的多视目标识别与检索的精度。
-
公开(公告)号：CN114692788A
公开(公告)日：2022-07-01
申请号：CN202210611385.X
申请日：2022-06-01
申请人： 天津大学 , 青岛海洋科学与技术国家实验室发展中心
摘要： 本发明公开了一种基于增量学习的厄尔尼诺极端天气预警方法及装置，方法包括：基于增量训练，即使用一多尺度特征频域蒸馏技术，选择性地约束多尺度特征低频分量的漂移，记忆并行卷积神经网络在旧任务中学到的知识；使用一多尺度特征自适应融合技术，根据输入多尺度数据不同的时间跨度，自适应学习不同的融合参数，增强对新任务的学习能力；自适应融合后的特征通过全连接层，输出反映厄尔尼诺现象变化规律的Nino3.4指数，建立极端降雨概率的映射函数，预测值超过阈值则进行暴雨预警并提前开展输电线路暴雨防治工作。装置包括：处理器和存储器。本发明可以有效的提升增量的厄尔尼诺现象下降雨量预测的准确度，减轻自然灾害。
-
-
-
-
-
-
-
-
-
搜索结果
62 条记录 (耗时 0.084 秒)
