-
公开(公告)号:CN113591485B
公开(公告)日:2024-07-12
申请号:CN202110671379.9
申请日:2021-06-17
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F40/30 , G06F40/289 , G06F40/242 , G06V10/42 , G06V10/75 , G06V10/762 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于数据科学的智能化数据质量稽核系统及方法,方法包括:数据采集:进行检测对象元数据采集以及日志数据采集解析;数据特征提取:识别并剔除无效表和无效字段,同时通过修订算法根据数据内容对字段类型进行自动修订,根据字段类型提取特征;异常检测:预设数据异常检测方法库,与数据特征进行匹配以选取对应的异常检测方法并检测;任务调度编排:设置编排服务器和节点服务器,编排服务器根据任务请求将上述任务拆分为若干子步后分发给不同节点服务器处理。本发明提降低了数据资产管理和数据质量治理的门槛,实现数据质量稽核的通用性、规模化、自动化以及智能化,整体提升数据质量稽核的效率与工作质量。
-
公开(公告)号:CN113204329B
公开(公告)日:2024-06-14
申请号:CN202110305353.2
申请日:2021-03-19
Applicant: 浙江华云信息科技有限公司
Abstract: 本发明涉及一种统一数据模型驱动业务应用的控制方法及其应用系统,本发明解决现有技术的问题,其技术方案要点是:根据使用者的选择对应执行模型成果发布检索步骤、模型个性化需求提报步骤、逻辑模型在线设计步骤和构建统一数据模型自动生成工具步骤,逻辑模型在线设计步骤,通过选择有明确需求的核心业务实体,或者选择支撑业务需求的最小统一数据模型子集,再根据实际应用需求对模型成果子集中的对象进行结构裁剪,形成适配业务的实际逻辑模型;执行构建统一数据模型自动生成工具步骤时,首先执行物理模型生成子步骤,然后开发物理模型自动生成工具。
-
公开(公告)号:CN116361277A
公开(公告)日:2023-06-30
申请号:CN202310234256.8
申请日:2023-03-08
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F16/215 , G06F16/242
Abstract: 本申请提供一种数据质量检测方法、装置、计算机设备及介质,获取数据中台的目标系统的第一数据,第一数据包括目标字段;对目标字段进行特征标记,得到目标字段对应的目标特征;根据目标特征和预设对应关系,得到目标特征对应的目标质量检测算法;通过PyODPS内置的聚合函数,利用目标质量检测算法对目标字段进行质量检测,得到包括异常数据的检测结果。对多个目标字段进行质量检测时,在数据中台中可以采用多字段并行检测方式,同时,在对多个目标字段中的每一个目标字段进行检测时,PyODPS内置的聚合函数可以调用数据中台内线程级别的多路并发能力,充分利用数据中台的集群资源进行质量检测,提高对数据质量的检测效率。
-
公开(公告)号:CN115016904A
公开(公告)日:2022-09-06
申请号:CN202210276240.9
申请日:2022-03-21
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F9/48 , G06F16/215 , G06N3/02 , G06N5/00
Abstract: 本发明提供了一种数据质量检测任务的调度方法,所述调度方法具体为:首先采集每个检测对象的元数据以及日志数据并进行数据清洗,然后计算特征值并进行预处理,将预处理后的特征值输入算法匹配模型,获取对应的数据检测方法,获取每个检测对象的数据规模、数据维度以及对应的数据检测方法类型,确定每个检测对象的检测任务以及预设的计算资源信息,并通过检测时长预测模型获取对应的检测任务执行时长的预测结果,根据每个检测对象的预测结果生成任务执行队列,进行检测任务分配并开展数据质量检测,直至完成所有的检测任务。本发明能够根据检测任务的检测时长来分配执行顺序,能够控制和压减整体检测任务的时长,保障检测结果的时效性。
-
公开(公告)号:CN112650587A
公开(公告)日:2021-04-13
申请号:CN202011560267.8
申请日:2020-12-25
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
Abstract: 本发明涉及一种基于分布式统一收集分发编排任务方法,本发明解决现有技术的问题,其技术方案要点是,步骤一,任务编排;步骤二,将一个业务分拆分配;步骤三,执行配置负载均衡分发策略,轮询将请求顺序循环地发到每个服务器,当其中一个服务器发生故障时,就把发生故障的服务器从顺序循环队列中拿出,直到恢复正常;步骤四,针对集群统一收集分发编排,采用消息中间件线程安全队列,采用生产者消费者模式,有序分发任务至集群服务器,集群服务器通过自己的配置设定解决任务,并通过消息中间件反馈任务情况;步骤五,针对任务节点异常情况,任务编排端接收节点异常情况,提供解决方案。
-
公开(公告)号:CN111666364B
公开(公告)日:2023-05-30
申请号:CN202010455839.X
申请日:2020-05-26
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司 , 浙大宁波理工学院
IPC: G06F16/29 , G06F16/532 , G06F16/583 , G06F18/22
-
公开(公告)号:CN112104660A
公开(公告)日:2020-12-18
申请号:CN202010986839.2
申请日:2020-09-18
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
Abstract: 本申请公开了一种数据传输方法、相关设备及可读存储介质。基于上述方案,发送方可以发送包括头字节字段、请求序号字段、操作码字段、对象标识字段、消息体长度字段、消息体字段和校验码字段的二进制格式数据报文,接收方可以对二进制格式数据报文进行解析。由于二进制格式数据报文相对于JSON,XML等格式,占用的传输资源较小,而边缘网关和云平台可以互为发送方和接收方,因此,边缘网关和云平台之间传输的数据为二进制格式数据报文时,能够提升边缘网关和云平台之间的数据传输的效率和可靠性。
-
公开(公告)号:CN113591485A
公开(公告)日:2021-11-02
申请号:CN202110671379.9
申请日:2021-06-17
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC: G06F40/30 , G06F40/289 , G06F40/242 , G06K9/46 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于数据科学的智能化数据质量稽核系统及方法,方法包括:数据采集:进行检测对象元数据采集以及日志数据采集解析;数据特征提取:识别并剔除无效表和无效字段,同时通过修订算法根据数据内容对字段类型进行自动修订,根据字段类型提取特征;异常检测:预设数据异常检测方法库,与数据特征进行匹配以选取对应的异常检测方法并检测;任务调度编排:设置编排服务器和节点服务器,编排服务器根据任务请求将上述任务拆分为若干子步后分发给不同节点服务器处理。本发明提降低了数据资产管理和数据质量治理的门槛,实现数据质量稽核的通用性、规模化、自动化以及智能化,整体提升数据质量稽核的效率与工作质量。
-
公开(公告)号:CN113204329A
公开(公告)日:2021-08-03
申请号:CN202110305353.2
申请日:2021-03-19
Applicant: 浙江华云信息科技有限公司
Abstract: 本发明涉及一种统一数据模型驱动业务应用的控制方法及其应用系统,本发明解决现有技术的问题,其技术方案要点是:根据使用者的选择对应执行模型成果发布检索步骤、模型个性化需求提报步骤、逻辑模型在线设计步骤和构建统一数据模型自动生成工具步骤,逻辑模型在线设计步骤,通过选择有明确需求的核心业务实体,或者选择支撑业务需求的最小统一数据模型子集,再根据实际应用需求对模型成果子集中的对象进行结构裁剪,形成适配业务的实际逻辑模型;执行构建统一数据模型自动生成工具步骤时,首先执行物理模型生成子步骤,然后开发物理模型自动生成工具。
-
公开(公告)号:CN111666364A
公开(公告)日:2020-09-15
申请号:CN202010455839.X
申请日:2020-05-26
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司 , 浙大宁波理工学院
IPC: G06F16/29 , G06F16/532 , G06F16/583 , G06K9/62
Abstract: 本发明公开的一种基于等距映射的电力设备三维模型匹配方法,包括:将待匹配的若干电力设备三维模型进行预处理,使若干电力设备三维模型具有相同顶点数;对待匹配电力设备三维模型构造测地线距离矩阵,获得每个电力设备三维模型的测地线距离矩阵;将待匹配电力设备三维模型的顶点嵌入一维欧式空间,得到一维标量集合;根据一维标量集合,获取待匹配电力设备三维模型的姿势不变性特征集;利用姿势不变性特征集度量待匹配的若干电力设备三维模型的相似性。本发明中姿势不变性特征集对不同工作状态、尺度、采样、旋转、平移操作的电力设备三维模型的匹配具有不变性,能够有效度量电力设备三维模型间的相似性,尤其是对非刚性三维模型的高效匹配。
-
-
-
-
-
-
-
-
-