-
公开(公告)号：CN116991483B
公开(公告)日：2024-04-05
申请号：CN202311237774.1
申请日：2023-09-25
申请人： 粤港澳大湾区数字经济研究院(福田)
IPC分类号： G06F9/38 , G06F40/289
摘要： 本申请公开了一种针对语言模型计算的流水线并行方法及装置，方法通过将语言模型的各模型阶段部署于不同的计算节点上，并将待计算数据划分为预设数量的数据组，然后通过各计算节点并行读取各数据组，并在最上游计算节点读取完成一个数据组后，立刻将该数据组对应的输出数据传送给最下游计算节点，最后再通过所有计算节点并行执行生成过程，这样可以实现读取阶段和生成阶段的不同数据组间的流水线并行，提高了计算节点资源的利用率，从而可以提高语言模型的计算效率。
-
公开(公告)号：CN116991560A
公开(公告)日：2023-11-03
申请号：CN202311237684.2
申请日：2023-09-25
申请人： 粤港澳大湾区数字经济研究院(福田)
摘要： 本申请公开了一种针对语言模型的并行调度方法、装置、设备及存储介质，方法包括根据将待处理数据批划分为若干子数据批并分配至不同工作端；根据工作端的各计算节点实时用于执行所述待处理数据批时的显存使用率将语言模型的张量划分为若干张量块，将各张量块配置于不同计算节点；控制各计算节点并行运行语言模型的推理过程以得到输出数据。本申请通过在执行语言模型的推理过程中根据工作端的各计算节点在用于执行每个待处理数据批时的显存使用率对张量进行动态划分，使得各计算节点分配到的张量块的大小可以根据显存使用率来动态调节，有效提高了计算节点的显存利用率，减少显存冗余，提高了语言模型的推理速度，从而缩短了语言模型的训练时间。
-
公开(公告)号：CN116522988B
公开(公告)日：2023-10-31
申请号：CN202310804065.0
申请日：2023-07-03
申请人： 粤港澳大湾区数字经济研究院(福田)
IPC分类号： G06N3/042 , G06N3/098 , G06F18/241 , G06F18/214
摘要： 本发明公开了一种基于图结构学习的联邦学习方法、系统、终端及介质，每轮次训练时，在所有用户端中采样出若干个目标用户端参与本轮次的训练，根据全局模型参数更新目标用户端的本地模型参数后，目标用户端迭代优化本地模型获得优化后的本地模型参数，然后采用图网络模型学习目标用户端之间的异质性并根据异质性来聚合所有目标用户端的优化后的本地模型参数，更新全局模型参数，循环进行迭代直至完成模型的优化。通过对用户端采样以减少参与训练的用户端的数量，可以减少每轮次训练的通信开销；通过采用图网络模型学习目标用户端之间的异质性，能够自适应地聚合目标用户端的优化后的本地模型参数，提高训练效率，获得鲁棒性好的优化后的全局模型。
-
公开(公告)号：CN114462620A
公开(公告)日：2022-05-10
申请号：CN202111674899.1
申请日：2021-12-31
申请人： 粤港澳大湾区数字经济研究院(福田)
摘要： 本申请公开了一种机器学习的均衡方法及相关装置，所述方法包括从所属正确类别为主要类别的训练样本中，按照预设概率筛选部分训练样本作为目标训练样本；对原始类别序列中的类别标签进行错排以形成错排类别序列；基于目标训练样本和错排类别序列生成错排输入数据；以错排输入数据对机器学习模型进行训练。本申请通过错排方式将部分正确类别为主要类别的训练样本的原始类别序列修改为错排类别序列，这样即可以保留所有训练样本，使得机器学习可以学习到所有训练样本所携带的特征信息，同时又阻止机器学习模型对主要类别的过度学习，使得机器学习在主要类别上的权重更新变小且次要类别不受影响，使得机器学习的训练过程更加平衡，提高了模型性能。
-
公开(公告)号：CN116069831B
公开(公告)日：2023-08-15
申请号：CN202310309890.3
申请日：2023-03-28
申请人： 粤港澳大湾区数字经济研究院(福田)
IPC分类号： G06F16/2458 , G06N3/0455 , G06N3/0464 , G06N3/084
摘要： 本申请公开了一种事件关系的挖掘方法及相关装置，方法包括分别获取若干目标文档中的各目标文档的文档表征和事件表征；基于各目标文档的文档表征构建上层图，并基于各目标文档的事件表征构建下层图；基于预先训练的图挖掘模型、所述上层图和所述下层图，确定各目标文档的事件表征间的事件关系。本申请基于目标文档的文档表征和事件表征形成上层图和下层图，然后通过图挖掘模型来确定事件关系，这样将事件关系挖掘过程转换为图补全任务，可以只需要对目标文档间的事件关系进行标注，就可以挖掘到事件间的事件关系，这样减少事件关系标注所划分的人力物力，从而可以降低事件关系挖掘所花费的成本。
-
公开(公告)号：CN116152612A
公开(公告)日：2023-05-23
申请号：CN202310431918.0
申请日：2023-04-21
申请人： 粤港澳大湾区数字经济研究院(福田)
IPC分类号： G06V10/774 , G06V10/764 , G06V10/778 , G06V20/60
摘要： 本申请公开了一种长尾图像识别方法及相关装置，方法包括将待识别图像输入经过训练的长尾图像识别模型，通过所述长尾图像识别模型确定所述待识别图像对应的目标类别。本申请中使用的长尾图像识别模型的训练过程中聚合了若干专家网络模型学习到的知识，并采用蒸馏损失来使得专家模型间迁移的知识更加平衡，使得长尾图像识别模块既可以避免单个专家网络的特征学习能力不足的问题，又可以避免头部类的知识淹没尾部类的知识的问题，提升了长尾图像识别模型的整体性能，从而提高了基于长尾图像识别模型确定的目标类别的准确性。
-
公开(公告)号：CN115186820B
公开(公告)日：2023-01-10
申请号：CN202211088370.6
申请日：2022-09-07
申请人： 粤港澳大湾区数字经济研究院(福田)
IPC分类号： G06F16/335 , G06F16/35 , G06F40/205 , G06N5/04 , G06N20/00
摘要： 本发明所提供的事件共指消解方法、装置、终端及计算机可读存储介质，所述事件共指消解方法包括：将目标事件输入预先训练的粗筛模型，在预先建立的存量事件库中检索得到与所述目标事件对应的候选事件池；构造所述目标事件与所述候选事件池中各个候选事件之间的事件对；将各个所述事件对输入预先训练的精筛模型，确定各个所述事件对中目标事件与候选事件之间的共指关系。本发明通过使用预先训练的粗筛模型进行检索，将原来的存量事件库缩小为候选事件池，降低了推理时的计算量，再通过预先训练的精筛模型，减少了上游模型误差的传播，提升了推理效果。
-
公开(公告)号：CN114462418A
公开(公告)日：2022-05-10
申请号：CN202111674973.X
申请日：2021-12-31
申请人： 粤港澳大湾区数字经济研究院(福田)
IPC分类号： G06F40/30 , G06F16/35 , G06F40/216 , G06K9/62
摘要： 本发明公开了事件检测方法、系统、智能终端及计算机可读存储介质，其中，所述事件检测方法是基于自注意力模型和多层感知器进行事件检测，包括：获取待检测语句和事件类别序列；将上述待检测语句结合上述事件类别序列生成待检测数据；获取上述自注意力模型和上述多层感知器，基于上述自注意力模型和上述多层感知器获取上述待检测语句对应的事件类别概率，其中，上述自注意力模型用于对上述待检测数据进行检测并输出待检测数据的语义向量，上述多层感知器用于基于上述事件类别序列对应的语义向量获取上述待检测语句对应的上述事件类别序列中各事件类别的概率。与现有技术相比，本发明方案无需使用关键词，有利于提升事件检测的效率和准确性。
-
公开(公告)号：CN117435928B
公开(公告)日：2024-06-18
申请号：CN202311759136.6
申请日：2023-12-20
申请人： 粤港澳大湾区数字经济研究院(福田)
IPC分类号： G06F18/214 , G06F18/26 , G06F40/205 , G06F40/253
摘要： 本申请公开了一种实体关系抽取模型的训练方法、实体关系抽取方法及设备，方法包括在预设关系类型集中选取一个目标关系类型，通过生成模型生成若干个符合所述目标关系类型的句子‑三元组对以构建合成数据集，通过初始抽取模型确定所述合成数据集中的每个句子‑三元组对的奖励函数值；基于所有奖励函数值对生成模型和所述初始抽取模型进行训练，以得到抽取模型。本申请实施例基于奖励函数值对生成模型和抽取模型进行训练，使得生成模型和抽取模型相互促进，增强了抽取模型在未知关系类型上的泛化能力，同时也提高了生成模型确定合成数据的数据质量，从而可以提高训练得到的抽取模型的准确性，进而可以提高基于抽取模型确定实体关系的准确性。
-
公开(公告)号：CN117435928A
公开(公告)日：2024-01-23
申请号：CN202311759136.6
申请日：2023-12-20
申请人： 粤港澳大湾区数字经济研究院(福田)
IPC分类号： G06F18/214 , G06F18/26 , G06F40/205 , G06F40/253
摘要： 本申请公开了一种实体关系抽取模型的训练方法、实体关系抽取方法及设备，方法包括在预设关系类型集中选取一个目标关系类型，通过生成模型生成若干个符合所述目标关系类型的句子‑三元组对以构建合成数据集，通过初始抽取模型确定所述合成数据集中的每个句子‑三元组对的奖励函数值；基于所有奖励函数值对生成模型和所述初始抽取模型进行训练，以得到抽取模型。本申请实施例基于奖励函数值对生成模型和抽取模型进行训练，使得生成模型和抽取模型相互促进，增强了抽取模型在未知关系类型上的泛化能力，同时也提高了生成模型确定合成数据的数据质量，从而可以提高训练得到的抽取模型的准确性，进而可以提高基于抽取模型确定实体关系的准确性。
-
-
-
-
-
-
-
-
-
搜索结果
28 条记录 (耗时 0.043 秒)
