-
公开(公告)号:CN113591485B
公开(公告)日:2024-07-12
申请号:CN202110671379.9
申请日:2021-06-17
申请人: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC分类号: G06F40/30 , G06F40/289 , G06F40/242 , G06V10/42 , G06V10/75 , G06V10/762 , G06N3/04 , G06N3/08
摘要: 本发明公开了一种基于数据科学的智能化数据质量稽核系统及方法,方法包括:数据采集:进行检测对象元数据采集以及日志数据采集解析;数据特征提取:识别并剔除无效表和无效字段,同时通过修订算法根据数据内容对字段类型进行自动修订,根据字段类型提取特征;异常检测:预设数据异常检测方法库,与数据特征进行匹配以选取对应的异常检测方法并检测;任务调度编排:设置编排服务器和节点服务器,编排服务器根据任务请求将上述任务拆分为若干子步后分发给不同节点服务器处理。本发明提降低了数据资产管理和数据质量治理的门槛,实现数据质量稽核的通用性、规模化、自动化以及智能化,整体提升数据质量稽核的效率与工作质量。
-
公开(公告)号:CN112104660A
公开(公告)日:2020-12-18
申请号:CN202010986839.2
申请日:2020-09-18
申请人: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
摘要: 本申请公开了一种数据传输方法、相关设备及可读存储介质。基于上述方案,发送方可以发送包括头字节字段、请求序号字段、操作码字段、对象标识字段、消息体长度字段、消息体字段和校验码字段的二进制格式数据报文,接收方可以对二进制格式数据报文进行解析。由于二进制格式数据报文相对于JSON,XML等格式,占用的传输资源较小,而边缘网关和云平台可以互为发送方和接收方,因此,边缘网关和云平台之间传输的数据为二进制格式数据报文时,能够提升边缘网关和云平台之间的数据传输的效率和可靠性。
-
公开(公告)号:CN113591485A
公开(公告)日:2021-11-02
申请号:CN202110671379.9
申请日:2021-06-17
申请人: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC分类号: G06F40/30 , G06F40/289 , G06F40/242 , G06K9/46 , G06K9/62 , G06N3/04 , G06N3/08
摘要: 本发明公开了一种基于数据科学的智能化数据质量稽核系统及方法,方法包括:数据采集:进行检测对象元数据采集以及日志数据采集解析;数据特征提取:识别并剔除无效表和无效字段,同时通过修订算法根据数据内容对字段类型进行自动修订,根据字段类型提取特征;异常检测:预设数据异常检测方法库,与数据特征进行匹配以选取对应的异常检测方法并检测;任务调度编排:设置编排服务器和节点服务器,编排服务器根据任务请求将上述任务拆分为若干子步后分发给不同节点服务器处理。本发明提降低了数据资产管理和数据质量治理的门槛,实现数据质量稽核的通用性、规模化、自动化以及智能化,整体提升数据质量稽核的效率与工作质量。
-
公开(公告)号:CN116361277A
公开(公告)日:2023-06-30
申请号:CN202310234256.8
申请日:2023-03-08
申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC分类号: G06F16/215 , G06F16/242
摘要: 本申请提供一种数据质量检测方法、装置、计算机设备及介质,获取数据中台的目标系统的第一数据,第一数据包括目标字段;对目标字段进行特征标记,得到目标字段对应的目标特征;根据目标特征和预设对应关系,得到目标特征对应的目标质量检测算法;通过PyODPS内置的聚合函数,利用目标质量检测算法对目标字段进行质量检测,得到包括异常数据的检测结果。对多个目标字段进行质量检测时,在数据中台中可以采用多字段并行检测方式,同时,在对多个目标字段中的每一个目标字段进行检测时,PyODPS内置的聚合函数可以调用数据中台内线程级别的多路并发能力,充分利用数据中台的集群资源进行质量检测,提高对数据质量的检测效率。
-
公开(公告)号:CN115016904A
公开(公告)日:2022-09-06
申请号:CN202210276240.9
申请日:2022-03-21
申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC分类号: G06F9/48 , G06F16/215 , G06N3/02 , G06N5/00
摘要: 本发明提供了一种数据质量检测任务的调度方法,所述调度方法具体为:首先采集每个检测对象的元数据以及日志数据并进行数据清洗,然后计算特征值并进行预处理,将预处理后的特征值输入算法匹配模型,获取对应的数据检测方法,获取每个检测对象的数据规模、数据维度以及对应的数据检测方法类型,确定每个检测对象的检测任务以及预设的计算资源信息,并通过检测时长预测模型获取对应的检测任务执行时长的预测结果,根据每个检测对象的预测结果生成任务执行队列,进行检测任务分配并开展数据质量检测,直至完成所有的检测任务。本发明能够根据检测任务的检测时长来分配执行顺序,能够控制和压减整体检测任务的时长,保障检测结果的时效性。
-
公开(公告)号:CN112650587A
公开(公告)日:2021-04-13
申请号:CN202011560267.8
申请日:2020-12-25
申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
摘要: 本发明涉及一种基于分布式统一收集分发编排任务方法,本发明解决现有技术的问题,其技术方案要点是,步骤一,任务编排;步骤二,将一个业务分拆分配;步骤三,执行配置负载均衡分发策略,轮询将请求顺序循环地发到每个服务器,当其中一个服务器发生故障时,就把发生故障的服务器从顺序循环队列中拿出,直到恢复正常;步骤四,针对集群统一收集分发编排,采用消息中间件线程安全队列,采用生产者消费者模式,有序分发任务至集群服务器,集群服务器通过自己的配置设定解决任务,并通过消息中间件反馈任务情况;步骤五,针对任务节点异常情况,任务编排端接收节点异常情况,提供解决方案。
-
公开(公告)号:CN111666364A
公开(公告)日:2020-09-15
申请号:CN202010455839.X
申请日:2020-05-26
申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司 , 浙大宁波理工学院
IPC分类号: G06F16/29 , G06F16/532 , G06F16/583 , G06K9/62
摘要: 本发明公开的一种基于等距映射的电力设备三维模型匹配方法,包括:将待匹配的若干电力设备三维模型进行预处理,使若干电力设备三维模型具有相同顶点数;对待匹配电力设备三维模型构造测地线距离矩阵,获得每个电力设备三维模型的测地线距离矩阵;将待匹配电力设备三维模型的顶点嵌入一维欧式空间,得到一维标量集合;根据一维标量集合,获取待匹配电力设备三维模型的姿势不变性特征集;利用姿势不变性特征集度量待匹配的若干电力设备三维模型的相似性。本发明中姿势不变性特征集对不同工作状态、尺度、采样、旋转、平移操作的电力设备三维模型的匹配具有不变性,能够有效度量电力设备三维模型间的相似性,尤其是对非刚性三维模型的高效匹配。
-
公开(公告)号:CN111949770A
公开(公告)日:2020-11-17
申请号:CN202010856639.5
申请日:2020-08-24
申请人: 国网浙江省电力有限公司信息通信分公司 , 国网浙江省电力有限公司
IPC分类号: G06F16/33 , G06F16/35 , G06F40/289
摘要: 本发明提供了一种文档分类方法及装置,创建分类语料库,将分类语料库划分为训练集和测试集,通过根据分类语料库对应的词典从训练集和测试集的每个文档中提取文档特征向量,提高了文档特征提取的准确性,在此基础上,通过利用训练集的文档特征向量对多个机器学习模型进行训练,并根据测试集的文档特征向量对每个训练得到的分类模型的分类效果进行评价,将分类效果最好的分类模型作为最终的文档分类模型,最后利用该文档分类模型进行文档分类,提高了文档分类的准确性。
-
公开(公告)号:CN113792890B
公开(公告)日:2024-05-03
申请号:CN202111167777.3
申请日:2021-09-29
申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江捷瑞电力科技有限公司
摘要: 本公开提供的一种基于联邦学习的模型训练方法及相关设备,应用于边缘计算框架,所述边缘计算框架包括云计算中心和至少一个边缘计算节点,所述云计算中心对各所述边缘计算节点进行管理控制,该方法包括:对所述云计算中心构建中心神经网络模型;对各所述边缘计算节点分别构建边缘神经网络模型;利用训练样本对各所述边缘神经网络模型进行联邦学习并对所述中心神经网络模型进行调整,获得对抗攻击防御全局模型。本公开通过对各边缘计算节点对应的边缘神经网络模型之间进行联邦学习,可以有效在训练过程中防止边缘计算节点的数据泄露,提高边缘计算框架的对抗攻击防御能力。
-
公开(公告)号:CN117521884A
公开(公告)日:2024-02-06
申请号:CN202311455230.2
申请日:2023-11-02
申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江大学
摘要: 本发明涉及电网能量管理技术领域,公开了一种多能协同互补优化方法、系统、计算机设备和存储介质,方法包括:获取综合能源系统中每个电气设备的状态信息,将所述状态信息作为智能体的初始信息,输入预先建立好的多智能体决策模型进行动作决策,得到每个智能体对应的智能体动作;根据预设的约束条件和所述智能体动作,对所述智能体的输出动作进行分级调控。本发明通过多智能体决策模型并结合深度强化学习的泛化能力,在有效降低系统运行成本的同时,实现了对需求不确定性和风力不确定性的实时响应,并且通过分层调控框架提高了风电消纳,从而实现了多种能源的协同优化。
-
-
-
-
-
-
-
-
-