-
公开(公告)号:CN116257515A
公开(公告)日:2023-06-13
申请号:CN202310545378.9
申请日:2023-05-16
Applicant: 之江实验室
IPC: G06F16/215 , G06F16/29 , G06F18/22 , G06F18/241 , G06N20/00 , G06F40/289
Abstract: 本发明涉及一种基于机器学习的地理兴趣点去重方法、装置和介质,方法包括以下步骤:获取目标地理兴趣点和数据库地理兴趣点;对目标地理兴趣点和数据库地理兴趣点进行预处理,计算对应的相似度特征向量;将该相似度特征向量输入预先训练的地理兴趣点重复判别二分类器中,得到目标地理兴趣点和数据库地理兴趣点是否重复的判别结果;根据目标地理兴趣点和数据库地理兴趣点是否重复的判别结果确定是否将目标地理兴趣点放入数据库中。与现有技术相比,本发明具有可自动化识别两个地理兴趣点是否重复,提高了地理兴趣点重复判别的准确率等优点。
-
公开(公告)号:CN116204387A
公开(公告)日:2023-06-02
申请号:CN202310461391.6
申请日:2023-04-26
Applicant: 之江实验室
Abstract: 本说明书公开了一种芯片电流的预测方法、装置、介质及电子设备,采用可解释人工智能技术,获取芯片中的任务负载状态以及指令集,该任务负载状态包括运算单元任务负载状态和缓存单元任务负载状态。将该芯片的任务负载状态输入到第一回归模型,以使第一回归模型确定该芯片维持该任务负载状态的所需电流。并将该指令集输入第二回归模型,以使第二回归模型确定该芯片执行该指令集中的指令后的电流变化值。根据该芯片维持该任务负载状态的所需电流以及该芯片执行该指令集中包含的指令后的电流变化值,以确定该芯片的增量电流。实现了对芯片维持作业的电流的预测,且因为第一回归模型与第二回归模型具备可解释性,提高了预测电流作业的可靠性及可控性。
-
公开(公告)号:CN116186330A
公开(公告)日:2023-05-30
申请号:CN202310442154.5
申请日:2023-04-23
Applicant: 之江实验室
IPC: G06F16/783 , G06V10/80
Abstract: 本说明书公开了一种基于多模态学习的视频去重方法及装置,可以获取视频存储请求,而后,可以根据视频存储请求,确定待检测视频,以及确定数据库中的目标视频,进而,将待检测视频、待检测视频的文本相关信息输入到预先训练的识别模型中的第一特征提取网络,提取待检测视频的视觉‑文本多模态特征,将目标视频和目标视频的文本相关信息输入识别模型的第二特征提取网络,提取目标视频的视觉‑文本多模态特征。将待检测视频的视觉‑文本多模态特征以及目标视频的视觉‑文本多模态特征输入到识别模型中的重复检测子网络,得到重复检测结果,并根据该重复检测结果,确定是否将待检测视频存储在数据库中,从而能够提高视频去重的准确性。
-
公开(公告)号:CN115469815A
公开(公告)日:2022-12-13
申请号:CN202211341478.1
申请日:2022-10-31
Applicant: 之江实验室
IPC: G06F3/06 , G06F16/22 , G06F16/2455
Abstract: 本发明公开了提高闪存可靠性的缓存管理方法、装置、设备和储存介质,该装置包括主控模块、缓存管理模块和可靠性记录表,该方法是通过主控模块进行闪存的控制和管理,缓存管理模块管理读缓存和写缓存,可靠性记录表记录数据块在缓存中的驻留时间。此方法减轻闪存块由于接近擦除极限而导致的数据丢失问题,从而在保证闪存存储性能的同时提高了闪存存储的可靠性。
-
公开(公告)号:CN114079656A
公开(公告)日:2022-02-22
申请号:CN202210059029.1
申请日:2022-01-19
Applicant: 之江实验室
IPC: H04L67/1008
Abstract: 本发明公开了一种基于概率的负载平衡方法及装置、电子设备、存储介质,包括:接收每个存储节点发送的负载信息;根据所述负载信息,计算每个存储节点的负载;根据所述负载,计算每个存储节点的负载服务能力;接收客户端发送的数据请求;根据所述负载服务能力,计算服务概率;基于所述服务概率,随机的选择一个存储节点服务所述数据请求,其中所述服务概率越大被选中的概率越高。本发明可以应用到各类分布式文件系统的中,解决负载信息收集的低网络开销和较好负载平衡效果之间难以兼顾的问题。
-
公开(公告)号:CN120011112A
公开(公告)日:2025-05-16
申请号:CN202510488492.1
申请日:2025-04-18
Applicant: 之江实验室
Abstract: 本说明书公开了一种跨集群数据处理方法及装置。所述方法包括:将各计算节点所存储的第一结果数据拆分为多个数据切片;按照每个数据切片在第一结果数据中的先后顺序,依次将各数据切片从各计算节点发送给第一计算集群的主机内存,以使主机内存对已接收的数据切片和第二计算集群的主机内存中存储的数据切片进行规约计算,得到已接收的数据切片对应的第二结果数据;控制主机内存在接收后续的数据切片的同时,将第二结果数据从第一计算集群的主机内存发送给每个已接收的数据切片对应的计算节点;在各计算节点接收到全部数据切片对应的第二结果数据后,得到目标计算结果。本方案提高了跨集群通信效率,进一步提高了跨集群数据处理效率。
-
公开(公告)号:CN118396140A
公开(公告)日:2024-07-26
申请号:CN202410849948.8
申请日:2024-06-27
Applicant: 之江实验室
IPC: G06N20/20
Abstract: 本说明书公开了一种分布式模型训练系统及方法,第二计算节点基于适应度函数确定各树型结构模型的当前适应度,选择目标树型结构模型,第一计算节点选择参考树型结构模型,根据参考树型结构模型和目标树型结构模型,生成进化操作执行任务,将其分配给各第二计算节点,使其执行各进化操作执行任务,得到更新后的树型结构模型,第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型,并以此构建当前待训练模型,迭代多次直到满足第一预设条件,得到训练完成的目标模型。可见,上述方案实现了基于大型计算集群的分布式训练的适配,解决了大型树型模型占用计算资源高的问题,提升了大型树型模型的训练效率。
-
公开(公告)号:CN117666968B
公开(公告)日:2024-06-28
申请号:CN202311759362.4
申请日:2023-12-20
Applicant: 之江实验室
IPC: G06F3/06
Abstract: 本发明公开了一种固态盘存储系统的选择性数据压缩方法及装置,该方法是在固态盘存储系统上设置压缩位图表和三个功能模块:负载监测模块、数据压缩模块和数据解压缩模块,由请求类型判断步骤、数据的压缩写入步骤和数据的解压缩读取步骤组成。根据系统的当前负载和CPU计算资源状态,该方法充分利用存储系统中数据的冗余特性和固态盘的闪存介质特性,通过利用动态的数据压缩技术减少冗余信息,减少写入数据量,以此缓解固态盘读写性能不对称的问题,同时提升固态盘的空间利用率和可靠性。
-
公开(公告)号:CN117892769B
公开(公告)日:2024-06-11
申请号:CN202410296736.1
申请日:2024-03-15
Applicant: 之江实验室
Abstract: 本申请涉及一种神经网络训练方法、显存调度方法、系统、设备和产品,通过对第一神经网络在训练过程中的多个张量执行显存调度,记录各张量在显存调度期间对应的显存信息和重用距离,显存信息包括对应于各张量的显存占用量、显存利用率以及适用于各张量的显存释放模式;以各张量的显存占用量、显存利用率和重用距离作为样本数据的输入,以适用于各张量的显存释放模式作为样本数据的输出,构建训练数据集;根据训练数据集训练初始的第二神经网络,得到经训练的第二神经网络,经训练的第二神经网络可作为线上显存优化的决策引擎,使得决策引擎能够适用于多GPU训练场景的显存调度。
-
公开(公告)号:CN117312394B
公开(公告)日:2024-03-05
申请号:CN202311481292.0
申请日:2023-11-08
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/22 , G06F18/214 , G06F18/30 , G06N3/063
Abstract: 本说明书公开了一种数据访问方法、装置、存储介质及电子设备,通过第一缓存和第二缓存分别缓存原始样本和处理样本,当接受到模型训练请求后,随机确定一个样本标识,根据样本标识在第一缓存和第二缓存中寻找该样本标识对应的训练样本。若第一缓存和第二缓存均未被命中时,在第一缓存和第二缓存中确定未被命中过的训练样本中选择一个并返回,经增强计算后确定最终增强样本,用于模型训练。若第一缓存和第二缓存中的训练样本均被命中时,从存储器中获取一个训练样本返回。本方法在保证了训练样本选择的随机性的情况下,提高了缓存命中率,减少CPU冗余计算,并减少了对输入输出接口资源的调用,使得训练过程耗时减少,效率增高。
-
-
-
-
-
-
-
-
-