-
-
公开(公告)号：CN114035936B
公开(公告)日：2024-05-17
申请号：CN202111203399.X
申请日：2021-10-15
申请人： 北京潞晨科技有限公司
摘要： 本申请属于人工智能领域，涉及一种基于人工智能的多维并行处理系统和方法。训练过程中，通过数据并行，自动管理待处理数据，将待处理数据分配到硬件处理器上；序列并行，对数据进行切分和分配，将每个待处理数据放到多个处理器；流水并行，将模型分成多段，各段部署在不同的硬件处理器，并按模型顺序串接，以及多维模型并行，对调度到所述处理器的所述待处理数据的训练模型执行网络模型划分，将训练模型调度至多个所述处理器中，优化器对模型的参数进行更新完成训练过程。在推理过程中，也采用上述的资源调度和多维并行技术。通过在AI模型训练和推理过程中引入多维并行处理，降低AI对计算资源的消耗，提升人工智能部署效率并最小化部署成本。
-
公开(公告)号：CN115204369A
公开(公告)日：2022-10-18
申请号：CN202210823499.0
申请日：2022-07-14
申请人： 北京潞晨科技有限公司
摘要： 本发明公开了一种面对AI大模型的分布式张量管理方法，涉及张量管理技术领域，具体为一种面对AI大模型的分布式张量管理方法，包括通过数据并行和模型并行的两种并行训练和推理方式，一方面可通过切分模型的输入张量，使得各个机器上有相同的模型但是处理不同的输入，从而减少总体的训练时间，另一方面可通过切分模型的参数张量，使得模型均匀地分布在各个机器上，从而减少每个机器的内存开销，均摊所有计算操作，将分布式张量底层的数据移动自动封装和处理，对用户提供张量粒度的分布式方案，并通过对分布式训练推理的核心数据结构张量，做有效抽象和管理，从而提供用户从单机到分布式模型训练推理的便捷转化。
-
公开(公告)号：CN118170494A
公开(公告)日：2024-06-11
申请号：CN202410332974.3
申请日：2024-03-22
申请人： 北京潞晨科技有限公司
摘要： 本发明实施例公开了一种基于K8S的开发环境配置方法、装置、电子设备及存储介质，方法包括：获取K8S集群内关联交互式开发环境容器的容器配置参考信息；根据所述关联交互式开发环境容器的容器关联配置信息对当前交互式开发环境容器配置目标交互式开发环境容器；建立所述当前交互式开发环境容器与所述目标交互式开发环境容器之间的互连关系。本发明实施例的技术方案能够提高基于K8S的开发环境配置的灵活性、通用性和可维护性。
-
公开(公告)号：CN118133968A
公开(公告)日：2024-06-04
申请号：CN202410408574.6
申请日：2024-04-07
申请人： 北京潞晨科技有限公司
摘要： 本发明实施例公开了一种任务处理方法、装置、电子设备及存储介质，其中，方法包括：获取待处理任务的待处理任务数据，并对所述待处理任务数据进行编解码处理，得到当前预测令牌；根据候选令牌动态扩展策略对所述当前预测令牌进行动态扩展，得到动态扩展令牌集合；其中，所述动态扩展令牌集合中包括的候选令牌的数量根据所述当前预测令牌的动态调整因素动态调整；根据所述动态扩展令牌集合确定所述当前预测令牌匹配的目标预测令牌；根据所述目标预测令牌生成所述待处理任务数据匹配的任务结果数据。本发明实施例的技术方案能够提高基于模型进行任务处理时的解码速度和解码准确率，进而提高基于模型进行任务处理的质量和效率。
-
公开(公告)号：CN117873741A
公开(公告)日：2024-04-12
申请号：CN202310210388.7
申请日：2023-03-07
申请人： 北京潞晨科技有限公司
摘要： 本发明公开了一种面向AI大模型的流水线并行中间件方法，包括流水线中间件，其中流水线中间件包含有划分模块和调度器模块，划分模块包含有大模型和子模型划分器，调度器模块包含有子模型调度器，所述划分模块和调度器模块之间设置有流水线中间层。本发明设计的中间件的固定解耦表示使流水线划分技术和调度技术的开发更便捷。只需要符合唯一的中间件表示，无需再考虑复杂的适配，同时中间件带来的统一表示使生产环境中部署深度学习流水线并行更高效。
-
公开(公告)号：CN116257174A
公开(公告)日：2023-06-13
申请号：CN202211090772.X
申请日：2022-09-07
申请人： 北京潞晨科技有限公司
摘要： 本发明公开了一种基于张量异步硬盘读写的异构空间优化器，涉及硬盘读写技术领域包括AdamOptimizer主流优化器、SGDOptimizer主流优化器、NVMeOptimizer基类优化器与TensorNVMe异步读写库；所述AdamOptimizer主流优化器，现有的主流优化器；所述SGDOptimizer主流优化器，现有的主流优化器；所述NVMeOptimizer基类优化器，通过调用TensorNVMe异步读写库，将优化过程中的计算和硬盘读写重叠起来；该基于张量异步硬盘读写的异构空间优化器，本异构空间优化器通过采用NVMeOptimizer基类优化器，使得NVMeOptimizer基类优化器通过调用TensorNVMe异步读写库，将优化过程中的计算和硬盘读写重叠起来，从而大大提升了运行效率，本异构空间优化器通过继承NVMeOptimizer基类优化器，只需进行简单的修改，即可兼容现有的主流优化器。
-
公开(公告)号：CN115860101A
公开(公告)日：2023-03-28
申请号：CN202211551419.7
申请日：2022-12-05
申请人： 北京潞晨科技有限公司
摘要： 本发明公开了基于元信息估计的自动激活值检查点搜索方法，具体涉及深度大模型优化领域，包括以下步骤：S1、初始化模型；S2、线性化模型的建立；S3、元信息抽取；S4、动态规划求解；S5、计算图优化：S6、执行，本发明通过设计通用节点特性的传播方式，解除了部分依赖，使得模型内可视为线性化分割点的节点增多，增加了线性化网络的链长，从而增加了搜索空间，同时，本发明的线性化是全自动的，不需要对模型进行改写。
-
公开(公告)号：CN115719619A
公开(公告)日：2023-02-28
申请号：CN202211302872.4
申请日：2022-10-24
申请人： 北京潞晨科技有限公司
摘要： 本发明公开了一种基于并行和张量分块的AlphaFold推理高性能实现方法，包括前处理部分和推理部分；所述前处理部分包括如下步骤：基于Ray的数据前处理并行策略；对于多条氨基酸序列的蛋白质复合物结构预测；所述推理部分包括如下步骤：优化的动态轴并行；自动张量分组；显存共享。本发明前处理部分：单条氨基酸序列的前处理速度为约原方法前处理速度的3倍；推理部分：能够更好地发挥GPU平台的性能，提高推理速度；可以有效地降低计算所需的显存，从而支持更长的输入氨基酸序列。
-
公开(公告)号：CN115687232A
公开(公告)日：2023-02-03
申请号：CN202211345154.5
申请日：2022-10-31
申请人： 北京潞晨科技有限公司
IPC分类号： G06F15/167
摘要： 本发明公开了一种基于细粒度并行假设的零冗余异构训练方法，涉及预训练语言模型技术领域，包括以下步骤：S1：将连续的一部分参数集中到一个块当中，在EL中使用一系列同样大小的内存块来存放这些参数；该基于细粒度并行假设的零冗余异构训练方法，通过使用对称的基于块的内存管理技术，充分利用了GPU间通信带宽与CPU‑GPU间的PCI‑E带宽，且减少了冗余的GPU间通信与CPU‑GPU间数据传输，从而大大提升了零冗余训练时的GPU通信效率，同时通过引入在GPU上预留缓存空间，提高了GPU内存与RAM之间的数据传输效率，对于DS中无法支持的新模型，EL给予了支持，并且本方法相比于传统方法拥有巨大的性能提升。
-
-
-
-
-
-
-
-
-
搜索结果
25 条记录 (耗时 0.039 秒)
