-
公开(公告)号：CN119443305A
公开(公告)日：2025-02-14
申请号：CN202411362192.0
申请日：2024-09-27
Applicant: 科大讯飞股份有限公司
IPC: G06N20/00 , G06F18/214
Abstract: 本申请提出一种模型的分布式训练方法、装置、设备、系统及计算机程序产品，该方法包括：在重新提交目标模型的训练任务的情况下，读取训练集群的历史组网建链文件；其中，所述历史组网建链文件为所述训练集群基于历史提交的所述训练任务生成的、用于记录各卡之间通信关系的文件；在所述目标模型基于所述训练任务进行分布式训练的过程中，按照所述历史组网建链文件控制各卡进行通信。在目标模型基于训练任务进行分布式训练的过程中，可以直接按照历史组网建链文件控制各卡进行通信，从而快速开展模型训练，缩短了分布式训练的耗时。
-
公开(公告)号：CN119312846A
公开(公告)日：2025-01-14
申请号：CN202411459812.2
申请日：2024-10-18
Applicant: 科大讯飞股份有限公司
IPC: G06N3/0455 , G06N5/04
Abstract: 本申请公开了一种模型量化方法、装置、相关设备及计算机程序产品，本申请考虑到模型内部不同层级对量化的敏感度可能不同，为了实现更优的量化策略，并非以整个目标模型作为量化粒度，而是以目标模型的每一层作为量化粒度，根据每一层的权重和激活的数值大小，确定每一层的量化目标，进而可以按照每一层的量化目标，分别对目标模型中的每一层进行量化处理。本申请对于目标模型的每一层均确定与之匹配的量化目标，使得每一层能够按照更加匹配的量化目标进行量化处理，相比于传统方案对整个模型采用同一量化目标进行处理，本申请方案的量化策略更加优异，能够更好的平衡量化后模型的参数量及计算精度，提升模型量化的效果。
-
公开(公告)号：CN119166297A
公开(公告)日：2024-12-20
申请号：CN202411177287.5
申请日：2024-08-26
Applicant: 科大讯飞股份有限公司
Abstract: 本申请公开了一种任务调度方法及相关装置、电子设备和存储介质，其中，任务调度方法包括：构建计算线程和通信线程；其中，计算线程用于调度多个图形处理器进行任务推理，通信线程用于在多个图形处理器之间全量同步任务推理的计算结果；划分若干推理任务为第一任务集和第二任务集；其中，各个推理任务均按照目标工作流执行，目标工作流包含依次执行的若干工作节点，各个工作节点的执行均由计算线程调度资源实现；交替调用计算线程、通信线程分别处理第一任务集和第二任务集，直至若干工作节点执行完毕为止。上述方案，能够从整机角度能够尽可能地降低发生计算资源被闲置的可能性，有助于提高推理过程中整机吞吐效率。
-
公开(公告)号：CN118195033A
公开(公告)日：2024-06-14
申请号：CN202410623693.3
申请日：2024-05-20
Applicant: 科大讯飞股份有限公司
IPC: G06N20/00
Abstract: 本申请公开了一种语言模型训练方法及相关装置，涉及模型训练技术领域，训练方法包括：将语言模型部署于多个计算设备上，每个计算设备上部署语言模型的一个或多个层；获取训练样本集，训练样本集包括从训练序列集中获取的A个长度为S的训练序列；对训练样本集进行划分，得到多个训练样本子集，每个训练样本子集包括B个长度为S的训练序列，B小于A；对多个训练样本子集分别在序列维度进行切分，得到多个训练样本子集分别对应的子序列块集；利用多个训练样本子集分别对应的子序列块集中的各子序列块，采用流水并行的训练方式，控制多个计算设备进行模型训练。本申请公开的语言模型训练方法具有较低的内存需求和较低的流水空泡率。
-
公开(公告)号：CN117765935A
公开(公告)日：2024-03-26
申请号：CN202311687308.3
申请日：2023-12-06
Applicant: 科大讯飞股份有限公司
IPC: G10L15/06 , G06F18/214 , G06F18/241 , G06N3/04
Abstract: 本发明提供一种语音批数据生成与混淆方法、语音模型训练方法及装置，其中语音批数据生成与混淆方法包括：获取各类别语音数据的样本索引序列；对各类别语音数据的样本索引序列进行混淆，并基于预设类别比例，从混淆后各类别样本索引序列中抽取样本索引，生成多个固定比例数据索引块；对多个固定比例数据索引块进行混淆，并基于混淆后固定比例数据索引块，生成索引批数据。本发明提供的方法及装置，可以保证混淆后任意以固定数据索引块大小为粒度的局部范围内批数据的各个类别样本数量比例稳定，从而增强训练模型的稳定性与泛化能力。
-
Patent Agency Ranking
公开(公告)号：CN117333514A
公开(公告)日：2024-01-02
申请号：CN202311636539.1
申请日：2023-12-01
Applicant: 科大讯飞股份有限公司
IPC: G06T7/246 , G06T7/223 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本申请公开了一种单目标视频跟踪方法、装置、存储介质及设备，该方法包括：首先在获取到包含待跟踪的单目标对象的目标视频后，从目标视频中确定出包含第一帧图像对应的图像跟踪模板的M张图像跟踪模板，然后提取M张图像跟踪模板的模板图像特征，以及提取目标视频中每一帧搜索图像的搜索图像特征，并将模板图像特征和搜索图像特征输入预先构建的编码器网络进行编码，得到编码特征；接着将编码特征和开始标志位向量输入预先构建的解码器网络进行解码，预测出编码特征对应的搜索图像中单目标对象的位置和尺寸，从而能够提高目标视频中每一帧搜索图像中对于单目标视频跟踪结果的准确性。
-
公开(公告)号：CN116628508B
公开(公告)日：2023-12-01
申请号：CN202310893103.4
申请日：2023-07-20
Applicant: 科大讯飞股份有限公司
IPC: G06F18/214
Abstract: 本申请公开了一种模型训练过程异常检测方法、装置、设备及存储介质，方法包括：在模型并行训练过程中，按照设定周期记录训练效率数据，该训练效率数据表示在一个周期内集群中各设备节点对训练数据的使用效率。当集群中存在异常的设备节点时，该异常设备节点对训练数据的读取、使用效率会大大降低，导致整个周期内记录的训练效率数据也偏离正常值，因此，本申请基于当前周期的训练效率数据，确定集群在当前周期是否出现异常，可以及时准确地发现集群的异常。在确定集群在当前周期出现异常时，可以进一步启动进程进行通信异常分析，从而确定异常通信的设备节点，协助快速发现问题节点。
-
公开(公告)号：CN116627659A
公开(公告)日：2023-08-22
申请号：CN202310899664.5
申请日：2023-07-21
Applicant: 科大讯飞股份有限公司
Abstract: 本申请公开了一种模型检查点文件保存方法、装置、设备及存储介质，本申请在确定需要保存检查点checkpoint文件时，为了避免单节点网卡或磁盘IO拥塞问题，引入了负载均衡机制，将模型分割后的各个部分的checkpoint文件保存任务分散到多个不同的设备节点上，控制不同的设备节点采用并行处理的方式执行本设备节点的checkpoint文件保存任务，这样可以充分利用各设备节点的资源，避免单节点网卡或磁盘IO拥塞，提高保存效率。
-
公开(公告)号：CN111580784B
公开(公告)日：2023-07-25
申请号：CN202010281365.1
申请日：2020-04-10
Applicant: 科大讯飞股份有限公司
IPC: G06F7/552
Abstract: 本发明公开了一种幂函数计算装置及幂函数计算方法，其中，装置包括：输入电路，用于接收第一输入信息；存储电路，用于存储指定幂函数查找表；第一判断电路，连接输入电路，用于判断第一输入信息是否处于预设区间内；移位电路，连接第一判断电路，用于在第一输入信息未处于预设区间内时，利用第一移位值对第一输入信息进行移位得到第二信息，第二信息在预设区间内；运算电路，连接移位电路及存储电路，用于使用处于预设区间内的第一输入信息或第二信息在指定幂函数查找表中进行查找得到查表结果，并利用查表结果及幂函数的指数进行第一计算获取第一输入信息的幂函数值。用以在数字电路中实现特殊幂函数的计算，并且输出结果精度高。
-
公开(公告)号：CN106776014B
公开(公告)日：2020-08-18
申请号：CN201611070675.9
申请日：2016-11-29
Applicant: 科大讯飞股份有限公司
Abstract: 本发明公开了一种异构计算中的并行加速方法及系统，该方法包括：预先根据GPU的个数确定GPU之间数据传输的拓扑结构；所述拓扑结构中的各GPU获取当前任务，并对所述当前任务中的数据进行计算，得到对应当前任务的计算结果；各GPU将自己得到的对应当前任务的计算结果分享给所述拓扑结构中的所有其它GPU；各GPU得到所述拓扑结构中的所有其它GPU的计算结果后，开始执行下一任务。利用本发明，可以在提高GPU并行计算能力的同时，降低各GPU节点的带宽需求。
-
-
-
-
-
-
-
-
-
Search Results
59
records
(took 0.295 seconds)
