-
公开(公告)号：CN118861371A
公开(公告)日：2024-10-29
申请号：CN202411327323.1
申请日：2024-09-23
申请人： 中国人民解放军国防科技大学
IPC分类号： G06F16/901
摘要： 本发明涉及面向大规模图的高效图划分方法、装置和设备，根据图划分的目的并结合大规模图的幂率性，通过在各个计算节点上均为高度顶点创建镜像顶点，结合首先标记大规模图中的高度顶点后，将高度顶点以及和高度顶点相连接的边暂时移除，然后先将大规模图中剩余的顶点和边划分给各个计算节点，提高划分效率，接着将高度顶点‑低度顶点边分配到低度顶点所在计算节点，再将高度顶点‑高度顶点边分配到已存储边较少的计算节点，以均衡各个计算节点实际存储的边的数目，最后将高度顶点分配到已存储顶点较少的计算节点，以均衡各个计算节点实际存储的顶点数目，大幅减少划分时间开销并提高划分质量，实现处理大规模图的计算性能提升。
-
公开(公告)号：CN118605948A
公开(公告)日：2024-09-06
申请号：CN202410856978.1
申请日：2024-06-28
申请人： 中国人民解放军国防科技大学
IPC分类号： G06F9/38
摘要： 本申请涉及一种大规模模型的混合并行计算方法、系统、设备及介质，通过将初始大模型中参数量中大于预设参数量的多个算子替换为多个代理算子，根据多个代理算子，得到初始大模型完整的计算图，再根据流水线并行度，利用计算图划分算法，对计算图进行划分，得到多个子图，再根据各个子图的计算量，将多个子图分配至流水线并行的计算设备中，再根据张量并行度，将子图中的代理算子复原成应用于张量并行的算子，进而能够基于训练数据和多个子图进行三维混合并行训练，使得用户在进行大模型设计时，只需在单机训练模型的基础上，设置数据并行度、流水线并行度和张量并行度，能够降低一般用户设计并行训练的大模型的难度，能够提高大模型设计的效率。
-
公开(公告)号：CN118568499A
公开(公告)日：2024-08-30
申请号：CN202410673617.3
申请日：2024-05-28
申请人： 中国人民解放军国防科技大学
IPC分类号： G06F18/214 , G06F17/16 , G06N3/084 , G06F9/50
摘要： 本发明公开一种基于梯度感知参数冻结的大模型流水线并行训练方法及系统，该方法步骤包括：步骤S01.在模型中各矩阵乘算子处插入矩阵低秩分解节点；步骤S02.模型迭代训练过程中，分别进行节点内参数冻结以及节点间参数冻结，节点内参数冻结时，根据参数梯度控制对分解矩阵中参数进行冻结，节点间参数冻结时，逐节点判断各矩阵低秩分解节点是否收敛以进行冻结；步骤S03.构造计算图，以及构建优化目标，通过求解生成流水线并行策略；步骤S04.在模型训练过程中，在模型参数刷新点插入流水线重划分，以将活跃分区重新划分并分配到对应设备上。本发明具有实现方法简单、模型训练开销小、训练精度以及效率高等优点。
-
公开(公告)号：CN118503764A
公开(公告)日：2024-08-16
申请号：CN202410856962.0
申请日：2024-06-28
申请人： 中国人民解放军国防科技大学
IPC分类号： G06F18/24 , G06F18/214 , G06N3/045 , G06N3/084 , G06N3/098
摘要： 本申请提供一种自然语言处理模型的流水线并行训练方法、系统、终端及存储介质，所述方法包括：将自然语言处理模型中的各单层模型划分为自注意力模块和前向神经网络模块，并进行模型预训练，得到各个模块的计算时间；将模型中的多个网络层划分为N份网络层，得到多个模型划分方案，并进行模拟计算，得到每个模型划分方案所对应的流水线并行方法的迭代时间；选取出最小的流水线并行方法的迭代时间所对应的模型划分方案，作为目标模型划分方案；将目标模型划分方案所划分出的N份网络层，分配至N个计算设备中，并通过N个计算设备采用流水线并行方式，对自然语言处理模型进行训练。本申请能够提高自然语言处理模型的流水线并行训练的效率。
-
公开(公告)号：CN118153026A
公开(公告)日：2024-06-07
申请号：CN202410114533.6
申请日：2024-01-25
申请人： 中国人民解放军国防科技大学
摘要： 本发明公开一种基于生成式智能模型的多模态人机验证方法及装置，该方法步骤包括：S01.将多种类型图像输入给大语言模型，生成文本描述，并将每个图像与文本描述作为数据项形成验证码数据集；S02.对数据集中数据项进行分类；S03.当需要进行人机验证时，在数据集中抽取一个数据项，将图像部分作为验证码、文本描述部分作为验证的正确选项，并取与当前数据项不同类别的指定条数据项的文本描述作为错误选项；S04.获取用户的验证结果，反馈一条对应当前数据项的正向或负向消息，根据正向、负向消息的占比状态控制对数据项进行优化。本发明能够构建出对应关系复杂的验证码，提高被机器破解的难度以及用户识别的正确率。
-
公开(公告)号：CN117853968A
公开(公告)日：2024-04-09
申请号：CN202311687146.3
申请日：2023-12-08
申请人： 中国人民解放军国防科技大学
IPC分类号： G06V20/40 , G06V10/74 , G06V10/82 , G06V10/774 , G06N3/0464
摘要： 本发明公开了用于图像与视频诱导性内容检测方法、系统、设备及介质，涉及视频图像识别技术领域，其技术方案要点是：包括以下步骤：获取待处理的完整视频文件；分割完整视频文件，得到至少一个视频切片，利用预设的分析转化模型对视频切片进行转化，得到每个视频切片对应的第一视频特征向量；在每两个相邻视频切片之间构建切片分割标线。在本发明中，能够对视频内容风格进行分析，从正常视频中识别出内嵌的诱导性片段，对视频内部的诱导性片段进行过滤，解决了传统方法费时费力以及对正常视频部分内容误识别，从而影响过滤的效率以及准确性的相关问题。
-
公开(公告)号：CN117852537A
公开(公告)日：2024-04-09
申请号：CN202311682005.2
申请日：2023-12-08
申请人： 中国人民解放军国防科技大学
IPC分类号： G06F40/289 , G06F40/216 , G06F18/213 , G06F18/214 , G06F18/22
摘要： 本发明公开了信息处理技术领域的一种面向新闻篇章的弱监督虚假文本片段过滤方法，包括以下步骤：步骤一、获取待识别的新闻篇章并提取文本片段；步骤二、基于文本片段提取比对文本，并基于比对文本获取关联分词；步骤三、获取该待识别的新闻篇章的评论并提取训练文本，并基于训练文本或总关联分词和相似关联分词，基于两者的比例关系进行对比；步骤四、基于相似关联词得到评论情绪倾向，并基于比对文本得到比对文本情绪倾向，并将评论情绪倾向与比对文本情绪倾向进行一致性对比；将用户阅读新闻篇章后的评论内容联系起来，以此判断该新闻篇章的虚假性，以提高网络信息传播过程中新闻篇章的真实性。
-
公开(公告)号：CN116684273B
公开(公告)日：2024-01-30
申请号：CN202310673377.2
申请日：2023-06-08
申请人： 中国人民解放军国防科技大学
IPC分类号： H04L41/0803 , H04L41/0894 , H04L41/08 , H04L41/16 , H04L41/14 , G06N3/006
摘要： 本发明属于机动通信网络技术领域，具体提供了一种基于粒子群的机动通信网络结构自动规划方法，包括以下步骤：构建网络结构规划模型和约束集，并输入参数；初始化粒子维度和迭代次数，并设置种群的位置和速度；更新迭代次数，计算每个粒子的适应值、位置和邻接矩阵；并计算种群全局最优位置、全局最优值和邻接矩阵；达到条件后停止更新，此时的干线节点数和位置分别为全局最优值和全局最优位置。该方案通过改进粒子群算法，可以在很短的时间内完成复杂节点的网络结构自动规划，相比人工规划和其他自动规划，网络规划精度高且收敛快，较大提高了网络规划的效率，且规划精度高，规划时
-
公开(公告)号：CN111695689B
公开(公告)日：2023-06-20
申请号：CN202010542341.7
申请日：2020-06-15
申请人： 中国人民解放军国防科技大学
IPC分类号： G06N3/098 , G06N3/08 , G06N3/084 , G06F40/58 , G06F16/335
摘要： 本发明公开了一种自然语言处理方法，该方法包括以下步骤：接收待处理自然语言信息；将待处理自然语言信息输入到目标自然语言处理模型中；其中，目标自然语言处理模型为通过模型平均的模型聚合算法进行分布式训练得到；利用语言处理模型对待处理自然语言信息进行相应的自然语言理解或自然语言生成操作。应用本发明实施例所提供的技术方案，提高了语言处理模型进行自然语言处理的准确性和处理效率。本发明还公开了一种自然语言处理装置、设备及存储介质，具有相应技术效果。
-
公开(公告)号：CN116229100A
公开(公告)日：2023-06-06
申请号：CN202310166071.8
申请日：2023-02-27
申请人： 中国人民解放军国防科技大学
IPC分类号： G06V10/44 , G06V10/80 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
摘要： 本发明公开了一种基于动态注意力机制的图像处理方法、装置及设备，应用于计算机技术领域，包括：调用卷积流结构对目标图像进行处理得到目标特征图；对目标特征图进行批规范化处理，得到规范化特征图；调用包括卷积注意力网络基本模块和卷积层的卷积式注意力网络对规范化特征图进行处理得到高维抽象特征图；卷积注意力网络基本模块为包括卷积网络的多级卷积式注意力机制和全连接层的网络；对高维抽象特征图进行扁平化处理，并利用全连接层进行处理，得到目标输出结果。本发明将ViT中的大部分全连接结构替换为卷积结构，仅在多级卷积式注意力机制和生成目标输出结果中使用少量全连接层，从而有效降低模型参数数量，提升模型预测精度和收敛速度。
-
-
-
-
-
-
-
-
-
搜索结果
134 条记录 (耗时 0.058 秒)
