-
公开(公告)号:CN119692405A
公开(公告)日:2025-03-25
申请号:CN202411614646.9
申请日:2024-11-13
IPC: G06N3/063 , G06N3/0455 , G06F9/50 , G06T1/20 , G06T1/60
Abstract: 本发明提供一种自注意力机制的处理方法、装置、设备及介质,本发明通过沿自注意力机制头维度的任务划分方式,自注意力机制可以有效地利用GPU的并行计算能力,加速自注意力机制的计算过程,减少全局内存的访问量,提高计算性能。
-
公开(公告)号:CN117033718B
公开(公告)日:2024-06-07
申请号:CN202311190214.5
申请日:2023-09-14
IPC: G06F16/903 , G06F16/901 , G06F16/906
Abstract: 本申请提供一种基于光线追踪的近似近邻搜索方法、系统、介质及设备,所述方法包括过滤搜索点以获取编码本条目与子空间级反向索引;基于光线追踪单元构建子空间距离查询表;基于所述子空间距离查询表与所述子空间级反向索引查询距离以获取近似近邻搜索结果。本申请通过利用新兴的光线追踪单元的光线追踪技术来进行距离计算,从而取代IVFPQ中的子空间距离查询表构建中的距离计算操作,在保证计算结果正确的前提下,大大地提高基于IVFPQ的ANNS的搜索效率。此外,本申请还提出了一种对于光线追踪单元计算友好的内积近似计算方法,进一步提高了距离计算的效率。
-
公开(公告)号:CN116418872A
公开(公告)日:2023-07-11
申请号:CN202310181180.7
申请日:2023-03-01
Applicant: 上海交通大学
Abstract: 一种数据流驱动的工作流服务器无感知分布式调度系统,包括:设置于主节点上的有向无环图解析器和全局调度器以及设置于每个工作节点上的数据流本地调度器和本地存储单元,本发明通过设计基于数据流的调度器和充分利用数据局部性,从而提高端到端时延,提高吞吐量,从而支持乱序执行以及基于数据流架构的工作流服务器。
-
公开(公告)号:CN115034387A
公开(公告)日:2022-09-09
申请号:CN202210774598.4
申请日:2022-07-01
Abstract: 本发明提供一种基于无数据场景的神经网络实时量化方法及电子设备,所述基于无数据场景的神经网络实时量化方法包括:采用海森矩阵表示量化模型与原始模型之间的精度损失;对所述海森矩阵进行近似计算,将所述海森矩阵分解为三个矩阵的和;基于所述三个矩阵对每一层的神经网络分别按照元素、卷积核、卷积输出通道的顺序进行量化。本发明无需额外的训练数据,能够实现毫秒级别的模型量化过程,同时能够在快速量化的同时,保证神经网络的高识别精度。
-
公开(公告)号:CN112199196B
公开(公告)日:2022-03-18
申请号:CN202011134276.0
申请日:2020-10-21
Applicant: 上海交通大学
Abstract: 本发明提供一种资源配置方法、介质及服务端。所述资源配置方法包括:获取所述服务端能够执行的任务作为第一任务;获取所述第一任务对应的数据处理模型作为第一数据处理模型,其中,各所述第一数据处理模型至少包含1个算子;对所述第一数据处理模型中的每个算子进行资源配置,以获取所述第一数据处理模型中各算子所使用的资源数量;当所述服务端接收到用户的任务请求时,获取第二任务;其中,所述第二任务包括所述服务端的当前任务和所述用户的任务请求对应的任务;当所述第二任务的数量大于1时,执行一协同资源配置子方法。本发明所述资源配置方法能够适用于多数据处理模型的复杂场景。
-
公开(公告)号:CN108804556B
公开(公告)日:2020-10-20
申请号:CN201810494066.9
申请日:2018-05-22
Applicant: 上海交通大学
IPC: G06F16/22 , G06F16/2458 , G06F16/27
Abstract: 本发明公开了一种基于时间旅行和时态聚合查询的分布式处理框架系统,包括分区单元、局部索引单元和全局索引单元;所述分区单元负责将所有数据分区到分布式节点;所述局部索引单元用于管理每个分区中的时态数据;所述全局索引单元用于管理分区间隔。本发明为时态大数据提出了一个分布式内存分析框架,该框架易于理解和实施,但不会损失效率,能满足高吞吐量和低延迟的需求。
-
公开(公告)号:CN110046216A
公开(公告)日:2019-07-23
申请号:CN201910334422.5
申请日:2019-04-24
Applicant: 上海交通大学
IPC: G06F16/29 , G06F16/2458
Abstract: 本发明公开了一种应用于电子地图的空间关键字查询的近似搜索方法,其包括如下步骤:S1:读取数据集的各条数据进行索引构建、针对单条数据的各个关键字分别跳转至步骤S2;S2:将关键字的频率与频率阈值进行比对;S3:采用映射函数将关键字映射到R-tree,并组织包含该关键字的空间文本对象,跳转至S5;S4:将关键字映射到对象列表中,跳转至S5;S5:对于叶子节点中的对象、计算其最小边界矩形来表示它们的空间区域,对于非叶子节点,收集其子节点的最小边界矩形并组成更大的最小边界矩形以代表该节点的空间覆盖范围;S6:在S5构建的空间框架内实现对aBRQ(Approximate Boolean Range Query)的查询搜索;S7:在S5构建的空间框架内实现对近似关键字包含的k最近邻查询的查询搜索。
-
公开(公告)号:CN108712480A
公开(公告)日:2018-10-26
申请号:CN201810411220.1
申请日:2018-05-02
Applicant: 上海交通大学
IPC: H04L29/08
Abstract: 一种数据中心中的非IT资源分配方法和系统,通过预先建立负载的效用曲线,并由各个节点独立定义其服务等级,即有各个节点定义其期望的性能,效用曲线可以将不同的服务等级需求映射成不同电力功率需求;通过检查当前时刻数据中心可用电力资源容量和所有节点请求的电力功率总量,根据初始化价格确定系统资源价格,即基准价格并广播至各个节点后对基准价格进行动态调整,从而实现优化分配。本发明通过各个节点动态分配资源请求实现整体能耗的利用率提升。
-
公开(公告)号:CN119668894A
公开(公告)日:2025-03-21
申请号:CN202411635336.5
申请日:2024-11-15
IPC: G06F9/54 , G06F9/50 , G06N3/0455 , G06N5/04 , G06N3/063
Abstract: 本发明提供一种向量量化大语言模型的算子融合机制分配方法与系统,所述方法包括以下步骤:获取布局数据,其中,布局数据包括解量化数据布局以及计算内核所需布局;基于布局数据计算得到数据混洗次数,并基于数据混洗次数与预设阈值进行比较,以动态响应决策机制,当数据混洗次数小于预设阈值,则采用第一决策机制,第一决策机制至少包括寄存器级别算子融合机制;当数据混洗次数大于或者等于预设阈值,则采用第二决策机制,第二决策机制至少包括共享内存级别算子融合机制。本发明的向量量化大语言模型的算子融合机制分配方法与系统,解决了数据在共享内存和寄存器之间频繁传输导致的带宽瓶颈和延迟问题,从而实现了更高效的解量化与计算融合。
-
公开(公告)号:CN116302481B
公开(公告)日:2024-05-14
申请号:CN202310018597.1
申请日:2023-01-06
Applicant: 上海交通大学
Abstract: 一种基于稀疏知识图谱链接预测的资源分配方法及系统,通过对集群待调度执行的负载进行分析得到在不同资源配置下任务的运行时间并离散化后构建并更新任务‑资源配置知识图谱,得到稀疏知识图谱;通过残差关系图神经网络对稀疏知识图谱进行表征学习,得到知识图谱中每个资源配置和负载节点和边的向量表征,再利用多通道三维卷积TransE算法(MCTE)对负载节点进行最适资源预测并根据预测得到的资源配置,为负载分配相应的资源和服务器。本发明能够对负载进行更高效的调度,更有效地保证任务的QoS以及提高数据中心的资源利用率。
-
-
-
-
-
-
-
-
-