-
公开(公告)号:CN113760252B
公开(公告)日:2024-07-16
申请号:CN202011282107.1
申请日:2020-11-16
申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
摘要: 本公开提供了一种数据可视化方法、数据可视化装置、计算机系统和计算机可读存储介质。其中,数据可视化方法包括:响应于来自客户端的视图渲染请求,获取与目标数据对应的代码文件;调用代码执行服务,以便执行代码文件,得到初始执行结果;调用执行结果渲染服务,利用与初始执行结果相匹配的渲染模板文件对初始执行结果进行渲染,得到目标执行结果,其中,代码执行服务和执行结果渲染服务独立分开部署;以及向客户端发送目标执行结果,以便客户端可视化展示用于表征目标数据的渲染结果。
-
公开(公告)号:CN114841271A
公开(公告)日:2022-08-02
申请号:CN202210498837.8
申请日:2022-05-09
申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
摘要: 本发明公开了一种模型训练方法和装置,涉及人工智能领域。该方法的一具体实施方式包括:获取当前训练周期的基准训练模型,利用确定出的所述当前训练周期的多个稀疏特征参数结合当前训练周期的训练用数据训练所述基准训练模型,根据训练结果确定各个稀疏特征参数是否满足特征更新条件,将满足更新条件的作为下一训练周期的稀疏特征参数;通过在模型训练中处理稀疏特征参数,克服了随着训练次数的增加对训练影响较小的稀疏特征会越来越多而导致的资源开销较大,训练效率较低的问题;提高了训练模型的效率和训练效果。
-
公开(公告)号:CN114443658A
公开(公告)日:2022-05-06
申请号:CN202210088857.8
申请日:2022-01-25
申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
IPC分类号: G06F16/22 , G06F16/23 , G06F16/2455
摘要: 本公开涉及计算机技术领域,提供了一种数据处理方法、数据处理装置、计算机存储介质、电子设备,应用于数据分片终端,所述数据分片终端与多个参数服务器通信连接,所述参数服务器用于维护待存储数据,其中,数据处理方法包括:按照预设分片数目将待存储数据划分为带有分片序号的多个分片;根据所述预设分片数目和所述参数服务器的数目,确定分配至各所述参数服务器的分片序号,以使各所述参数服务器加载所述分片序号对应的分片,并为所述分片创建索引。本公开能够在参数服务器数目变更时,避免数据重分片操作,提高数据的加载效率,从而提升模型训练和模型上线的效率。
-
公开(公告)号:CN113761289A
公开(公告)日:2021-12-07
申请号:CN202110144656.0
申请日:2021-02-02
申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
IPC分类号: G06F16/901 , G06F16/25 , G06F8/36 , G06N3/08
摘要: 本公开提供了一种图学习方法、框架、计算机系统及可读存储介质,包括利用包括点和/或边属性索引参数的预设接口对样本图进行采样,得到采样数据,预设接口使用TensorFlow和PyTorch分别实现,利用TensorFlow和PyTorch共同提供的Dataset和Transform处理采样数据,得到处理后的采样数据,将处理后的采样数据输入给学习模型,以使学习模型学习样本图。
-
公开(公告)号:CN116932533A
公开(公告)日:2023-10-24
申请号:CN202210375910.2
申请日:2022-04-11
申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
IPC分类号: G06F16/22
摘要: 本申请公开了数据处理方法、装置、电子设备及计算机可读介质,涉及计算机技术领域,该方法包括:接收数据处理请求,获取对应的业务数据,进而提取业务数据中的类别特征;获取类别特征中的特征名称和特征名称对应的特征值,进而基于全局哈希算法,以根据特征名称和特征值生成组合全局哈希值;对组合全局哈希值进行词嵌入,以生成对应的稠密向量;将组合全局哈希值和稠密向量建立映射关系并存储于一张散列表中,以供参数服务器基于一张散列表执行对一张散列表中的稠密向量的查询或更新。从而只需要单次请求就可以访问某台服务器上面所需特征类的即稠密向量,在一定程度上降低了服务器的性能要求,并尽可能实现了请求的负载均衡。
-
公开(公告)号:CN113780302A
公开(公告)日:2021-12-10
申请号:CN202110118426.7
申请日:2021-01-28
申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
摘要: 本申请提供一种评估特征有效性的方法。本申请提供的技术方案中,从存储器中读取原始特征数据;将所述原始特征数据输入至处理器中的机器学习模型,得到第一AUC;对所述原始特征数据中第一特征进行置换处理,得到置换后特征数据,所述置换处理包括将所述第一特征的值置换为指定值或将所述第一特征删除;将所述置换后特征数据输入至所述机器学习模型,得到第二AUC;计算所述第二AUC与所述第一AUC的第一差值;根据所述第一差值确定所述第一特征的有效性。本申请提出的技术方案,有助于缩短模型训练时间、节约存储空间和降低资源消耗。
-
公开(公告)号:CN118261773A
公开(公告)日:2024-06-28
申请号:CN202211716053.4
申请日:2022-12-28
申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
摘要: 本公开的实施例公开了应用于分布式集群的模型训练方法、装置。该方法的一具体实施方式包括:对自然语言处理模型对应的训练样本集进行拆分,得到多个训练样本子集;将多个训练样本子集中的每个训练样本子集分配至分布式集群中的一个计算节点序列,计算节点序列上部署有自然语言处理模型,自然语言处理模型包括多个子网络,计算节点序列中的每个计算节点上部署有多个子网络中的一个子网络;对于计算节点序列中的计算节点,将对应的子网络的参数集进行拆分,得到多个参数子集;将多个参数子集中每个参数子集分配至计算节点中的一个计算单元,以对自然语言处理模型进行训练。该实施方式与人工智能有关,提升了分布式集群的模型训练效率。
-
公开(公告)号:CN117055871A
公开(公告)日:2023-11-14
申请号:CN202210475511.3
申请日:2022-04-29
申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
摘要: 本申请实施例公开了一种模型建立方法及装置、存储介质,包括:接收模型配置信息,模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息;根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件;根据流程配置信息在流程层调用目标流程;利用目标流程对目标组件进行组装,得到与模型配置信息匹配的深度学习模型。
-
公开(公告)号:CN113760252A
公开(公告)日:2021-12-07
申请号:CN202011282107.1
申请日:2020-11-16
申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
摘要: 本公开提供了一种数据可视化方法、数据可视化装置、计算机系统和计算机可读存储介质。其中,数据可视化方法包括:响应于来自客户端的视图渲染请求,获取与目标数据对应的代码文件;调用代码执行服务,以便执行代码文件,得到初始执行结果;调用执行结果渲染服务,利用与初始执行结果相匹配的渲染模板文件对初始执行结果进行渲染,得到目标执行结果,其中,代码执行服务和执行结果渲染服务独立分开部署;以及向客户端发送目标执行结果,以便客户端可视化展示用于表征目标数据的渲染结果。
-
公开(公告)号:CN116739078A
公开(公告)日:2023-09-12
申请号:CN202210194494.6
申请日:2022-03-01
申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
摘要: 本公开提供一种模型训练方法及装置、系统、电子设备;涉及深度学习技术领域。该方法包括:获取与当前批次的训练样本对应的当前第一模型参数;获取与当前批次的训练样本对应的当前第二模型参数;对当前第一模型参数和所述当前第二模型参数进行迭代训练,以获得第一模型参数梯度和第二模型参数梯度;发送第一模型参数梯度给对应的参数服务器,以使参数服务器更新当前第一模型参数;将第二模型参数梯度同步至其他工作服务器,以使每个工作服务器本地更新当前第二模型参数。本公开可以解决现有技术中由于梯度失效导致的训练模型预测精度低,及模型训练耗时长的问题。
-
-
-
-
-
-
-
-
-