-
公开(公告)号:CN112104660A
公开(公告)日:2020-12-18
申请号:CN202010986839.2
申请日:2020-09-18
申请人: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
摘要: 本申请公开了一种数据传输方法、相关设备及可读存储介质。基于上述方案,发送方可以发送包括头字节字段、请求序号字段、操作码字段、对象标识字段、消息体长度字段、消息体字段和校验码字段的二进制格式数据报文,接收方可以对二进制格式数据报文进行解析。由于二进制格式数据报文相对于JSON,XML等格式,占用的传输资源较小,而边缘网关和云平台可以互为发送方和接收方,因此,边缘网关和云平台之间传输的数据为二进制格式数据报文时,能够提升边缘网关和云平台之间的数据传输的效率和可靠性。
-
公开(公告)号:CN103617210B
公开(公告)日:2019-03-12
申请号:CN201310584070.1
申请日:2013-11-20
申请人: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江华云信息科技有限公司
IPC分类号: G06F9/54
摘要: 一种多目标数据服务层的动态路由系统及其工作方法,涉及一种数据访问系统。如果使用现有的业务逻辑层实现原有数据服务层和云数据服务层的并行访问,采用更改业务逻辑接口的程序和源代码,稳定性差。本发明包括:视图模块;业务逻辑接口;动态路由器,与业务逻辑接口及数据服务模块和云数据服务模块相连,用于根据业务逻辑接口的请求选择访问连接数据服务模块或云数据服务模块;动态路由配置模块,用于完成动态路由的配置,其与视图模块相连;一般数据服务模块,连接动态路由器及一般数据库,用于解析并访问一般数据库;云数据服务模块,连接动态路由器,用于访问云数据库。本技术方案保证原有应用系统业务逻辑层的稳定性。
-
公开(公告)号:CN106651633A
公开(公告)日:2017-05-10
申请号:CN201610879932.7
申请日:2016-10-09
申请人: 国网浙江省电力公司信息通信分公司 , 国家电网公司 , 浙江华云信息科技有限公司
摘要: 一种基于大数据技术的用电信息采集系统及其采集方法,涉及用电信息采集系统及其采集方法。目前用电信息采集系统存在高速海量数据存储计算模型欠缺和耗时、且计算效果不佳的问题。本发明包括:通信服务模块;数据存储模块:与通信服务模块相连,包括关系型数据库、分布式数据库及云存储,获取的用电信息数据对应存放至关系型数据库、分布式数据库及云存储中;数据处理模块:与数据存储模块相连,其包括定时计算服务单元、实时数据流处理单元、复杂事件流处理单元、海量数据离线处理单元及数据挖掘单元;数据展现模块:与数据存储模块相连。本技术方案实时计算和离线计算采用不同的处理方式,提高数据的实时处理能力和计算速度并有效减少存储空间。
-
公开(公告)号:CN113204329B
公开(公告)日:2024-06-14
申请号:CN202110305353.2
申请日:2021-03-19
申请人: 浙江华云信息科技有限公司
摘要: 本发明涉及一种统一数据模型驱动业务应用的控制方法及其应用系统,本发明解决现有技术的问题,其技术方案要点是:根据使用者的选择对应执行模型成果发布检索步骤、模型个性化需求提报步骤、逻辑模型在线设计步骤和构建统一数据模型自动生成工具步骤,逻辑模型在线设计步骤,通过选择有明确需求的核心业务实体,或者选择支撑业务需求的最小统一数据模型子集,再根据实际应用需求对模型成果子集中的对象进行结构裁剪,形成适配业务的实际逻辑模型;执行构建统一数据模型自动生成工具步骤时,首先执行物理模型生成子步骤,然后开发物理模型自动生成工具。
-
公开(公告)号:CN116361277A
公开(公告)日:2023-06-30
申请号:CN202310234256.8
申请日:2023-03-08
申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC分类号: G06F16/215 , G06F16/242
摘要: 本申请提供一种数据质量检测方法、装置、计算机设备及介质,获取数据中台的目标系统的第一数据,第一数据包括目标字段;对目标字段进行特征标记,得到目标字段对应的目标特征;根据目标特征和预设对应关系,得到目标特征对应的目标质量检测算法;通过PyODPS内置的聚合函数,利用目标质量检测算法对目标字段进行质量检测,得到包括异常数据的检测结果。对多个目标字段进行质量检测时,在数据中台中可以采用多字段并行检测方式,同时,在对多个目标字段中的每一个目标字段进行检测时,PyODPS内置的聚合函数可以调用数据中台内线程级别的多路并发能力,充分利用数据中台的集群资源进行质量检测,提高对数据质量的检测效率。
-
公开(公告)号:CN115016904A
公开(公告)日:2022-09-06
申请号:CN202210276240.9
申请日:2022-03-21
申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC分类号: G06F9/48 , G06F16/215 , G06N3/02 , G06N5/00
摘要: 本发明提供了一种数据质量检测任务的调度方法,所述调度方法具体为:首先采集每个检测对象的元数据以及日志数据并进行数据清洗,然后计算特征值并进行预处理,将预处理后的特征值输入算法匹配模型,获取对应的数据检测方法,获取每个检测对象的数据规模、数据维度以及对应的数据检测方法类型,确定每个检测对象的检测任务以及预设的计算资源信息,并通过检测时长预测模型获取对应的检测任务执行时长的预测结果,根据每个检测对象的预测结果生成任务执行队列,进行检测任务分配并开展数据质量检测,直至完成所有的检测任务。本发明能够根据检测任务的检测时长来分配执行顺序,能够控制和压减整体检测任务的时长,保障检测结果的时效性。
-
公开(公告)号:CN113157903A
公开(公告)日:2021-07-23
申请号:CN202011585288.5
申请日:2020-12-28
申请人: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC分类号: G06F16/335 , G06F16/31 , G06F40/216 , G06F40/284 , G06F40/295
摘要: 本发明公开了一种面向多领域的电力词库构建方法,解决了现有技术的不足,包括以下步骤:步骤1,收集电力相关文档,对电力相关文档的文字信息进行提取,在文字信息中枚举出所有文本片段,文本片段的长度小于设定阈值;步骤2,根据词法相关统计指标对文本片段进行过滤,过滤后的文本片段为候选新词,所有候选新词构成候选词库;步骤3,候选词库中的候选新词与常用词汇进行比较,若候选新词是常用词汇,则将该候选新词舍弃,若候选新词不是常用词汇,则将该候选新词定义为正式新词;步骤4,所有的正式新词构成专业词库。
-
公开(公告)号:CN107911846A
公开(公告)日:2018-04-13
申请号:CN201710542951.5
申请日:2017-07-05
申请人: 国网浙江省电力公司 , 浙江华云信息科技有限公司 , 国家电网公司
摘要: 一种微功率无线网络子节点的网络选择方法,涉及用电信息采集领域。从子节点离网到重新成功加入需要一定的时间,可能会现业务数据丢失。本发明为:子节点利用同步网络每个时隙中的空闲时间,在处理完自身网络的操作后,进入周边网络扫描,其中一个是自身网络的正常跳频频点,另一个是各信道驻留的慢跳频扫描频点;通过长时间的周边网络扫描,获取基本完整的周边邻居网络信息;根据邻居网络信息,综合比较与自身网络条件的优劣,做出是否切换至其他网络的决定。本技术方案的子节点可以在自身网络正常通信状态下,进行周边网络的扫描,不影响正常的工作,一旦出现网络不理想、断网等情况,可以及时转网,避免出现数据丢失的情况。
-
公开(公告)号:CN106502772A
公开(公告)日:2017-03-15
申请号:CN201610880143.5
申请日:2016-10-09
申请人: 国网浙江省电力公司信息通信分公司 , 国家电网公司 , 浙江华云信息科技有限公司
CPC分类号: Y02D10/24 , Y02D10/45 , G06F9/4881 , G06F16/27
摘要: 基于分布式离线技术的电量数据批量高速处理方法及系统,涉及一种数据批处理方法及系统。目前,高速海量数据存储计算模型欠缺,未能满足不同种类、不同形式的海量数据存储、计算。本发明包括以下步骤:1)电量采集前置机将采集电量实时发送到Kafka队列缓存;2)Storm集群读取Kafka队列电量信息,并实时存储到Hbase;3)Spark在Hbase中抽取需要处理的电量信息,并将其导入到Hive数据表;4)通过Spark离线计算操作相关Hive数据表得到当期电量,并对相关异常处理;本技术方案集Storm和Spark的优点,提升整体计算处理容量。从事务保障任务节点动态迁移技术,提出完整的任务节点迁移的事务保障协议,在确保迁移过程中流系统消息不丢包、不重复的同时,提高迁移本身的执行效率,提升系统稳定性。
-
公开(公告)号:CN113591485B
公开(公告)日:2024-07-12
申请号:CN202110671379.9
申请日:2021-06-17
申请人: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
IPC分类号: G06F40/30 , G06F40/289 , G06F40/242 , G06V10/42 , G06V10/75 , G06V10/762 , G06N3/04 , G06N3/08
摘要: 本发明公开了一种基于数据科学的智能化数据质量稽核系统及方法,方法包括:数据采集:进行检测对象元数据采集以及日志数据采集解析;数据特征提取:识别并剔除无效表和无效字段,同时通过修订算法根据数据内容对字段类型进行自动修订,根据字段类型提取特征;异常检测:预设数据异常检测方法库,与数据特征进行匹配以选取对应的异常检测方法并检测;任务调度编排:设置编排服务器和节点服务器,编排服务器根据任务请求将上述任务拆分为若干子步后分发给不同节点服务器处理。本发明提降低了数据资产管理和数据质量治理的门槛,实现数据质量稽核的通用性、规模化、自动化以及智能化,整体提升数据质量稽核的效率与工作质量。
-
-
-
-
-
-
-
-
-