-
公开(公告)号：CN112364168A
公开(公告)日：2021-02-12
申请号：CN202011329688.X
申请日：2020-11-24
申请人： 中国电子科技集团公司电子科学研究院 , 天津大学
摘要： 本发明公开了一种基于多属性信息融合的舆情分类方法，包括：利用基于连续词袋模型的文本预训练模型提取文本数据特征，并通过支持向量机分类器构造文本分类模型，进行文本属性的情绪分类；通过YOLO目标检测算法从检测网络中筛选出舆情相关的图像属性信息，并构造基于残差神经网络的图像分类模型进行图像属性的情绪分类；利用基于长短期记忆的模型提取并融合视频中的视觉、音频、文本信息，并构造视频属性的情绪分类模型；为同一发布者的不同属性情绪分类模型分配权重，并利用静态数据为不同的发布者分配权重，融合得到最终的舆情分类结果。本发明利用文本属性、图像属性和视频属性的数据，建立综合的分类模型，提升舆情信息分类的准确性。
-
公开(公告)号：CN112417097B
公开(公告)日：2022-09-16
申请号：CN202011299703.0
申请日：2020-11-19
申请人： 中国电子科技集团公司电子科学研究院 , 天津大学
IPC分类号： G06F16/33 , G06F16/55 , G06F16/583 , G06N3/04 , G06N3/08
摘要： 本发明公开了一种用于舆情解析的多模态数据特征提取与关联方法，该方法包括：构建第一神经网络及第二神经网络；由第一神经网络提取文本舆情信息的文本特征，由第二神经网络提取图像舆情信息的图像特征；构造包含节点及边缘的图结构A、B；图结构A用于编码文本特征，其上的节点与文本特征相对应；图结构B用于编码图像特征，其上的节点与图像特征相对应；将图像舆情信息与文本舆情信息一一匹配，构成若干个图文对，通过语义损失函数和三元组损失函数共同约束训练；对包含相同图像舆情信息或相同文本舆情信息的多个图文对的匹配关联度进行评估排序。本发明采用图结构对图像‑文本对中的对象和词的关系进行建模，并通过重新排序机制提高匹配性能。
-
公开(公告)号：CN112417097A
公开(公告)日：2021-02-26
申请号：CN202011299703.0
申请日：2020-11-19
申请人： 中国电子科技集团公司电子科学研究院 , 天津大学
IPC分类号： G06F16/33 , G06F16/55 , G06F16/583 , G06N3/04 , G06N3/08
摘要： 本发明公开了一种用于舆情解析的多模态数据特征提取与关联方法，该方法包括：构建第一神经网络及第二神经网络；由第一神经网络提取文本舆情信息的文本特征，由第二神经网络提取图像舆情信息的图像特征；构造包含节点及边缘的图结构A、B；图结构A用于编码文本特征，其上的节点与文本特征相对应；图结构B用于编码图像特征，其上的节点与图像特征相对应；将图像舆情信息与文本舆情信息一一匹配，构成若干个图文对，通过语义损失函数和三元组损失函数共同约束训练；对包含相同图像舆情信息或相同文本舆情信息的多个图文对的匹配关联度进行评估排序。本发明采用图结构对图像‑文本对中的对象和词的关系进行建模，并通过重新排序机制提高匹配性能。
-
公开(公告)号：CN118427631A
公开(公告)日：2024-08-02
申请号：CN202410513675.X
申请日：2024-04-26
申请人： 天津大学
IPC分类号： G06F18/22 , G06N5/04 , G06N3/042 , G06N3/0464 , G06N3/0442
摘要： 本发明公开了一种基于知识增强的跨模态匹配方法及装置，方法包括：基于多模态聚类的外源知识信息，利用多头注意力机制对输入的图像特征和文本特征进行编码，得到编码后的图像特征和编码后的文本特征；获取基于多模态聚合的区域语义知识信息，利用标签信息的引导，将图像区域特征与标签信息进行聚合，利用聚合后的特征，与编码后的文本特征通过多步推理的图卷积网络进行交互，获取基于多模态聚合的区域语义知识信息；基于多模态聚合的区域语义知识信息，通过门控机制，对编码后的图像特征和编码后的文本特征进行增强，得到增强后的图像特征和增强后的文本特征；对增强后的图像特征和增强后的文本特征同时使用全局和局部对齐的自适应联合推理，实现图像和文本对的跨模态匹配。装置包括：处理器和存储器。
-
公开(公告)号：CN117874253A
公开(公告)日：2024-04-12
申请号：CN202410028385.6
申请日：2024-01-09
申请人： 天津大学
IPC分类号： G06F16/36 , G06F18/214 , G06F18/241 , G06F18/25 , G06N5/043 , G06N5/022 , G06F16/31
摘要： 本发明公开了一种基于自适应知识推理的视觉关系识别方法及装置，包括：以视觉上下文表征为均值，常识表征为方差，将两者映射到相同维度的特征空间，通过高斯概率模型进行视觉与常识表征的融合建模，输出关系空间；将每个采样变量通过独立的分类器得到相应的预测分布，同时将视觉上下文表征通过分类器，输出基准预测分布构成多专家预测；将视觉上下文表征和多专家分布进行结合，得到分布评估函数，用于评估每个预测分布与视觉上下文表征的相关性；利用分布评估函数对每个预测分布进行评估，构建路由选择函数；利用路由选择函数的输出对多专家预测分布进行加权求和平均，与基准分布进行乘积，最终输出的分布用于预测该物体对的关系类别进行安全监控判断。
-
公开(公告)号：CN117648932A
公开(公告)日：2024-03-05
申请号：CN202311692771.7
申请日：2023-12-11
申请人： 天津大学 , 杭州电子科技大学 , 中国电子科技集团公司第三十研究所
IPC分类号： G06F40/30 , G06F40/295 , G06F18/213 , G06F18/25 , G06F18/22 , G06N3/0499 , G06N3/084
摘要： 本发明公开了一种基于外源知识的新闻描述生成方法及装置，方法包括：构建新闻感知的语义规则知识，并输入到CLIP获得上下文表征，对上下文表征进行线性变换获取最终规则知识特征；对新闻图像描述数据集中的每个图像‑新闻文章组合，分别提取图像特征和新闻文章特征，将两类特征融合，形成一个多模态上下文表征；将基于规则知识驱动的新闻图像描述任务视为多模态摘要任务，并进行深度的问题建模获取摘要生成模型；基于新闻感知的语义规则知识，对摘要生成模型进行微调，生成符合新闻报道基本规则的新闻图像描述。装置包括：处理器和存储器。本发明提高了新闻图像描述的准确性。
-
公开(公告)号：CN117614687A
公开(公告)日：2024-02-27
申请号：CN202311583938.6
申请日：2023-11-24
申请人： 天津大学
IPC分类号： H04L9/40 , G06N3/042 , G06N3/0464 , G06N3/045 , G06N3/094
摘要： 本发明公开了一种增强社交网络安全社交机器人账号检测与防御方法及装置，方法包括：部署一基于图节点注入的对抗攻击策略，用以模拟新社交机器人节点的注入；将筛选后的有效扰动节点添加至社交网络图中，创建含有对抗性扰动的社交网络图；在获取所有新增节点后，将其与原始训练样本集合并，构建新的对抗训练样本集；启动社交机器人检测模型的对抗训练过程，并引入重加权机制；构建复合损失函数，融合原始样本的训练损失与新增节点的对抗损失；在完成对抗训练并获得增强鲁棒性的社交机器人检测模型后，用于识别和检测潜在的社交机器人账户。装置包括：处理器和存储器。本发明加强对网络平台的监管和检测，对网络攻击加强清洁和抵御能力。
-
公开(公告)号：CN116992261A
公开(公告)日：2023-11-03
申请号：CN202310757183.0
申请日：2023-06-26
IPC分类号： G06F18/213 , G06F18/24 , G06N3/09 , G06N3/094
摘要： 本发明公开了一种基于模态特定表征学习的媒体立场识别方法，包括：采用对抗学习从多模态数据中提取模态一致特征以及模态特定特征；将模态内特定特征输入到基于自监督学习策略的标签生成中，获得独立的单模态监督；对模态内特定特征采用跨模态注意力机制以获得以文本模态为主模态的模态间互补信息，更新模态内特定特征；拼接更新后的模态内特定特征和模态一致性特征作为媒体数据多模态表征；利用基于自监督学习策略的标签生成部分生成的各个模态标签和真实媒体数据情感立场标签，联合训练多模态和单模态任务，对媒体数据多模态表征进行约束优化，对优化后的媒体数据多模态表征进行识别得到每个媒体数据所属的立场类别。本发明基于自监督多任务学习架构实现媒体情感立场识别精度的提升，有效推动网络安全事业的发展。
-
公开(公告)号：CN116886369A
公开(公告)日：2023-10-13
申请号：CN202310888815.7
申请日：2023-07-19
申请人： 天津大学
摘要： 本发明公开了一种社交机器人账号防检测的方法及装置，方法包括：使用社交网络中的账号信息和关系数据，训练社交网络机器人账号检测替代模型用于黑盒攻击；使用社交网络机器人账号检测替代模型辅助单节点注入对抗性攻击模型训练，生成注入节点的嵌入和边信息；将得到的注入节点的嵌入恢复为账号原始数据形式，使用社交网络中各账号数字属性特征和分类属性特征分别训练两个多层感知机用于生成的数字属性嵌入和分类属性嵌入的特征恢复；将恢复出来的账号原始数据以账号的形式，根据生成的边信息加入原始社交网络中，实现社交机器人账号的防检测。装置包括：处理器和存储器。本发明使得目标机器人和新注入的机器人都无法被机器人检测模型检测成机器人。
-
公开(公告)号：CN116662596A
公开(公告)日：2023-08-29
申请号：CN202310690876.2
申请日：2023-06-12
申请人： 天津大学 , 杭州电子科技大学 , 中国电子科技集团公司第三十研究所
IPC分类号： G06F16/583 , G06F16/535 , G06V20/70 , G06N3/0464 , G06N3/08
摘要： 本发明公开了一种基于常识引导的文本到图像生成方法及装置，通过将丰富的常识知识描述分步、逐一地加入上采样融合块的方式，建立知识描述与生成图像区域的语义映射关系，增强生成图像区域的视觉真实性，最后通过融合所有图像区域合成高质量图像。方法包括：检索ConceptNet外部常识库中的相关常识三元组并对其进行过滤；对输入的描述语句进行场景图解析得到场景三元组；将原始语句和知识描述输入到生成对抗网络的生成器中生成图像；判别器计算对抗损失，并更新生成器网络的参数；生成器和判别器进行交替优化，最终生成质量最好的图像用于新闻内容智能生成领域。装置包括：处理器和存储器。
-
-
-
-
-
-
-
-
-
搜索结果
202 条记录 (耗时 0.078 秒)
