基于并行迭代模仿解码的场景文字识别系统及方法

    公开(公告)号:CN113963340B

    公开(公告)日:2024-07-19

    申请号:CN202111026162.9

    申请日:2021-09-02

    Abstract: 本发明公开了一种基于并行迭代模仿解码的场景文字识别系统及方法,涉及场景图像文本检测识别领域,综合了自回归和非自回归解码的优点,采用一种并行迭代的生成方式,针对不同长度的文本采用固定的迭代次数,并将“简单优先”策略引入到文字识别任务中,并引入一个额外的自回归解码器作为教师网络,使用自回归解码器FFN的输出作为额外的监督信号对并行解码器进行监督学习,并使用模仿学习来辅助并行解码器隐藏层的学习。本发明在多个公开的数据集上达到了最优的准确率,同时与自回归方法相比,速度上有明显的提升。

    一种基于非易失性内存的动态图存储方法及装置

    公开(公告)号:CN118259830A

    公开(公告)日:2024-06-28

    申请号:CN202410292960.3

    申请日:2024-03-14

    Abstract: 本发明公开了一种基于非易失性内存的动态图存储方法及装置,涉及计算机领域,在DRAM中建立哈希表;在NVM中预分配顶点数组和每个顶点的后缀比特树的根节点,每个顶点的后缀比特树用来存储该顶点的邻接边,后缀比特树的根节点以数组形式预先统一分配内存,顶点数组中的每个顶点和根节点共享同一个索引;在每个邻接边插入之前,先检查该边的源顶点和目的顶点ID的映射关系是否已保存在哈希表中;如果没有,则采取顶点数组中下一个未使用的位置的索引作为顶点ID的哈希值,并将该顶点ID的映射关系保存到哈希表,同时将该顶点存到顶点数组对应的位置。本发明充分利用NVM可字节寻址、非易失性等特点,支持高性能的图更新及图分析能力。

    一种基于表示学习的属性图社区搜索方法和系统

    公开(公告)号:CN113626723B

    公开(公告)日:2024-06-14

    申请号:CN202110777236.6

    申请日:2021-07-09

    Abstract: 本发明涉及一种基于表示学习的属性图社区搜索方法和系统。该方法以查询节点为随机游走的起点,使用节点的属性信息和结构信息引导随机游走的跳转,获取节点序列和属性关键词序列;分别对节点序列和属性关键词序列进行节点的表示学习,获得节点的拓扑表示和属性表示,将其结合作为节点表示信息;根据节点之间的相似度对原始图数据进行重构,得到重构图;基于重构图和节点表示信息建立社区模型;以建立的社区模型为指导寻找满足要求的目标社区。本发明降低了计算的规模,表示学习过程更加契合社区搜索关注局部特性的特点,并融入了节点在社区层面的信息,提高了节点特征挖掘的准确度,建立的社区模型兼顾了发现社区的可解释性、质量和效率。

    一种基于知识蒸馏和提示工程的模型生成方法及系统

    公开(公告)号:CN117933360A

    公开(公告)日:2024-04-26

    申请号:CN202410077118.8

    申请日:2024-01-19

    Abstract: 本发明公开了一种基于知识蒸馏和提示工程的模型生成方法及系统,所述方法包括:根据垂域数据集,设计适用于下游任务的训练目标,并根据该训练目标优化基座大模型,得到垂域大模型;将垂域大模型视为教师模型,并根据所述下游任务生成一网络结构作为学生模型;其中,所述学生模型的网络结构规模小于所述垂域大模型;从下游任务数据集中抽取至少一个批量数据作为教师模型和学生模型的输入,并基于提示词工程逐层蒸馏中间特征,以使学生模型与教师模型的中间特征和输出结果对齐后,得到适用于下游任务的小规模模型。本发明能够实现与下游任务实现良好对齐的情况下尽可能地压缩模型规模,提升垂域模型的部署、推理效率。

    一种基于子图的符号链路预测方法及系统

    公开(公告)号:CN117749641A

    公开(公告)日:2024-03-22

    申请号:CN202311508882.8

    申请日:2023-11-13

    Abstract: 本发明涉及一种基于子图的符号链路预测方法及系统。该方法包括:对图数据进行预处理操作得到符号图的邻接矩阵;构建基于重要性的子图提取模块,对全局邻居节点进行选取,针对网络中的每一个目标节点对提取子图;构建符号感知的节点标记模块,以目标节点为中心,采用相对距离编码对子图的图结构进行编码,得到表示结构的特征向量,实现邻居信息的知识嵌入;构建自平衡的符号分类模块,将编码的子图输入图神经网络,利用图卷积和图池化操作对子图信息进行特征提取,得到子图表示,通过焦点损失和自剪枝对比损失实现链路的平衡分类;对各模块进行训练以进行符号链路预测。本发明能够克服现有符号链路预测方法的不足,取得更好的符号链路预测效果。

    一种基于少量公共数据的隐私模型训练方法及装置

    公开(公告)号:CN112199717B

    公开(公告)日:2024-03-22

    申请号:CN202011065611.6

    申请日:2020-09-30

    Abstract: 本发明提供一种基于少量公共数据的隐私模型训练方法及电子装置,包括:使用若干训练得到N个神经网络教师模型;将少量的公共数据xi分别输入N个神经网络教师模型,得到各公共数据xi对各标签k的统计投票结果;对各统计投票结果添加噪声,获取满足差分隐私原理的公共数据xi及相应标签;通过大量的随机噪声向量与一预训练判别神经网络,优化对抗生成网络,并生成大量无标注数据;通过满足差分隐私原理的公共数据xi及相应标签、大量无标注数据对预训练的自编码器联合训练学生模型,得到隐私学生模型。本发明只需少量公共数据即可训练一个隐私学生模型,实现对敏感数据的物理隔离和网络隔离,解决了隐私学生模型的精确度不高这一问题。

    主动定向式数据蒸馏的联邦学习方法、装置及系统

    公开(公告)号:CN117669698A

    公开(公告)日:2024-03-08

    申请号:CN202311555818.5

    申请日:2023-11-21

    Abstract: 本发明公开了种主动定向式数据蒸馏的联邦学习方法、装置及系统,该方法包括:从服务器获取全局模型w(t)的当前参数;判断当前通信轮数t是否大于一设定的早期通信轮数T′;在t≤T′的情况下,基于本地数据集优化全局模型w(t),并利用全局模型w(t)对本地数据集进行蒸馏后,将得到的局部模型和蒸馏数据返回至服务器,以使该服务器基于所有客户端返回的所述局部模型和所述蒸馏数据生成全局模型w(t+1);在t>T′的情况下,基于本地数据集优化全局模型后,将得到的局部模型返回至服务器,以使该服务器基于所有客户端返回的所述局部模型 生成全局模型w(t+1)。本发明可以有效改善全局模型因数据异质性性能下降问题。

    基于语义强化编码器解码器框架的场景文字识别方法及系统

    公开(公告)号:CN111753827B

    公开(公告)日:2024-02-13

    申请号:CN202010416704.2

    申请日:2020-05-15

    Abstract: 本发明提供一种基于语义强化编码器解码器框架的场景文字识别方法及系统,将目标图像上的任意形状的文本矫正为水平文本,得到矫正后的图像;将矫正后的图像输入到卷积神经网络中提取视觉特征,利用循环神经网络从该视觉特征中提取序列信息;根据序列信息预测全局语义信息;利用上述全局语义信息初始化一基于注意力机制的门控循环单元GRU的状态,根据上述视觉特征与GRU每一个解码时间的隐状态计算注意力权重,根据该注意力权重对上述视觉特征进行加权,预测出图像上的每一个字符。能够有效地利用全局信息填补现有方法使用局部信息的不足,同时减小视觉信息与语义信息之间的鸿沟,从而使模型能够更好地处理低质量的图像。

Patent Agency Ranking