一种基于解耦和干预的图网络对齐短语和图片区域的方法

    公开(公告)号:CN112101358B

    公开(公告)日:2021-02-26

    申请号:CN202011217929.1

    申请日:2020-11-04

    Abstract: 本发明公开了一种基于解耦和干预的图网络对齐短语和图片区域的方法,属于图像数据处理领域。该方法先提取图片候选区域的视觉特征和图片描述句子中名词性短语的文本特征,并利用视觉场景图和语法解析树分别得到视觉和文本语义图结构;然后将视觉和文本图结构通过基于解耦和干预的图神经网络后得到包含图结构中邻居关系的视觉候选区域和文本短语特征;最后通过跨模态的自注意力机制进行对齐映射,并根据对齐后的内积判断指定短语和视觉区域的对齐结果。本发明结合解耦和干预的图神经网络方法,能够学习到更加可解释和鲁棒的视觉和文本特征,从而利用包含图结构环境关系的特征实现跨模态对齐,完成短语到图片区域的定位。

    一种基于多智能体的网格治理知识图谱构建方法

    公开(公告)号:CN119150978A

    公开(公告)日:2024-12-17

    申请号:CN202411626400.3

    申请日:2024-11-14

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于多智能体的网格治理知识图谱构建方法,属于知识图谱构建领域。本发明包括以下步骤:预先设计智能体角色信息,为每个智能体编写智能体提示语,并构建对应的智能体,对照智能体角色信息进行角色对齐,当智能体的实际能力与智能体角色配置存在偏差时,优化智能体提示语,直至生成满足要求的智能体;通过自然语言对话形式构建知识图谱;当有新知识需要补充到构建好的知识图谱中时,由相应智能体按需更新知识图谱,完成知识图谱的构建。本发明的方法充分利用大规模预训练语言模型的习得知识、自然语言处理能力和任务泛化能力,基于多智能体的多视角特点和大规模预训练语言模型的反思机制增强了任务执行结果的质量。

    一种激励驱动的链上半异步联邦学习方法

    公开(公告)号:CN116128051A

    公开(公告)日:2023-05-16

    申请号:CN202211393015.X

    申请日:2022-11-08

    Abstract: 本发明公开了一种激励驱动的链上半异步联邦学习方法,该方法提出将联邦学习任务部署在区块链平台上,利用区块链平台所流通的数字货币来奖励对联邦学习做出贡献的参与者,并利用智能合约来实现完全去中心化地协调多参与者协同配合,在不暴露各方数据隐私的前提条件下迭代多轮优化任务所需的全局模型,同时保证联邦学习过程中的信息不被篡改且能够被查询。与传统的联邦学习方法相比,本发明一方面可以吸引更多的参与者持续为联邦学习贡献本地算力和通信资源,另一方面可以提高联邦学习抵抗恶意攻击的能力,防止所训练模型被恶意参与者操控,能够适应于各种在信任难以建立的环境之中的联邦学习。

    一种激励驱动的联邦欺诈防御方法

    公开(公告)号:CN115913685A

    公开(公告)日:2023-04-04

    申请号:CN202211393072.8

    申请日:2022-11-08

    Applicant: 浙江大学

    Abstract: 本发明公开了一种激励驱动的联邦欺诈防御方法,本发明首先提出了激励驱动的联邦欺诈者模型,提出保护隐私与验证信息真实性之间的矛盾。进而,提出了一种激励驱动的联邦欺诈防御方法,确保欺诈者无法满足其目标的激励/花费比值来上报与激励分配相关的本地信息,而不是通过遵守学习规则获得与其本地数据集相关的真实的本地信息,即参与者有较少的经济动机来产生一个编造的本地信息而不是真实的本地信息。实验表明,该防御方法能够有效抵御欺诈者,并且不会给客户和服务器带来过多的传输和计算代价。

    一种基于解耦和干预的图网络对齐短语和图片区域的方法

    公开(公告)号:CN112101358A

    公开(公告)日:2020-12-18

    申请号:CN202011217929.1

    申请日:2020-11-04

    Abstract: 本发明公开了一种基于解耦和干预的图网络对齐短语和图片区域的方法,属于图像数据处理领域。该方法先提取图片候选区域的视觉特征和图片描述句子中名词性短语的文本特征,并利用视觉场景图和语法解析树分别得到视觉和文本语义图结构;然后将视觉和文本图结构通过基于解耦和干预的图神经网络后得到包含图结构中邻居关系的视觉候选区域和文本短语特征;最后通过跨模态的自注意力机制进行对齐映射,并根据对齐后的内积判断指定短语和视觉区域的对齐结果。本发明结合解耦和干预的图神经网络方法,能够学习到更加可解释和鲁棒的视觉和文本特征,从而利用包含图结构环境关系的特征实现跨模态对齐,完成短语到图片区域的定位。

    一种基于异质客户端感知的联邦主动学习方法

    公开(公告)号:CN115688914A

    公开(公告)日:2023-02-03

    申请号:CN202211393730.3

    申请日:2022-11-08

    Abstract: 本发明公开了一种基于异质客户端感知的联邦主动学习方法。初始轮,客户端在自身私有数据上使用交叉熵损失进行本地模型训练;完成本地训练后,上传本地更新至服务器;服务器执行聚合获得新一轮的全局模型,并下发给所有客户端。客户端收到新的全局模型并开始本地训练前,执行采样操作。首轮外,本地训练不仅计算交叉熵损失,客户端还将基于前一轮记录的认知波动信息对抽取的无标签子集进行分类,并额外计算一个对齐损失项,以校准模型的决策边界,避免在不准确模型上浪费标注预算。本发明解决了现有联邦主动学习方法在异质场景下失效的问题。一方面更有效地衡量了样本信息量,另一方面能训练更准确地模型,从而减少模型的认知波动以提升模型性能。

Patent Agency Ranking