-
公开(公告)号:CN111159178B
公开(公告)日:2023-06-13
申请号:CN201911271405.8
申请日:2019-12-12
Applicant: 浙江华云信息科技有限公司
Inventor: 王仲锋 , 杨春晨 , 丁雪花 , 李冰 , 纪德良 , 石佳 , 解林超 , 阳东 , 王永平 , 于亚丰 , 汪娟玉 , 胡如一 , 姜震 , 蒋斌 , 徐宏伟 , 王澍 , 姜小建 , 吕旭芬 , 谭程文 , 吴美娟 , 方豪强
IPC: G06F16/22 , G06F16/248 , G06F16/242
Abstract: 本发明涉及大数据处理领域,尤其涉及一种基于大数据SQL解析的数据地图路径导航方法,包括:对来自各数据应用系统的数据查询脚本、数据库执行日志通过SQL解析,获取数据表、数据字段之间的关联关系;建立数据表关系库,将解析出的数据表、数据字段之间的关联关系存储至数据表关系库;将数据表与数据字段通过数据表、数据字段之间的关联关系连接形成数据网络,以编制数据拓扑关系图,依托拓扑关系图构建数据业务地图;在数据业务地图中设置起始点数据表和终点数据表,根据数据表关系库进行计算,求得所需要的数据路径并在数据业务地图上显示。本发明的有益效果:实现数据的导航以及查询。
-
公开(公告)号:CN109388733B
公开(公告)日:2022-01-07
申请号:CN201810916036.2
申请日:2018-08-13
Applicant: 国网浙江省电力有限公司 , 浙江华云信息科技有限公司 , 国网浙江仙居县供电有限公司
IPC: G06F16/901 , G06F9/448
Abstract: 本发明提出一种新的图数据处理引擎优化方法,其特征在于,采用本地迭代,全局通信的处理方式,所述处理方式首先在同一计算节点上开展计算,直到该计算节点上的所有图节点的数据都完成更新则停止局部迭代;在同一计算节点上开展计算的同时,边缘图节点缓存并合并消息,待局部迭代停止后批量传输计算节点间发送的消息,所述边缘图节点为跨两个或多个计算节点的图节点。
-
公开(公告)号:CN111143468B
公开(公告)日:2022-12-06
申请号:CN201911267516.1
申请日:2019-12-11
Applicant: 浙江华云信息科技有限公司
Inventor: 解林超 , 纪德良 , 王永平 , 方豪强 , 石佳 , 王仲锋 , 阳东 , 杨春晨 , 于亚丰 , 汪娟玉 , 丁雪花 , 胡如一 , 姜震 , 蒋斌 , 王澍 , 徐宏伟 , 姜小建 , 吕旭芬 , 谭程文 , 李冰 , 吴美娟
Abstract: 本申请实施例提出的基于MPP分布式技术的多数据库数据管理方法,包括获取源数据库的结构信息,将结构信息发送至消息队列集群;周期性的从消息队列集群中获取结构信息,解析结构信息得到对应每个源数据库的模式以及表结构信息,基于解析得到的模式以及表结构信息构建CSV文件;基于对应每个源数据库的CSV文件的文件内容在MPP数据库中创建与源数据库相同结构的数据库。通过将原来属于不同数据库的数据快速镜像到MPP分布式数据库,完全保留原有数据库的表层级结构,表字段结构,表索引和表数据。上层业务和开发人员只需接入MPP分布式数据库对相关数据进行统一的访问和管理,从而解决原来不能对跨数据库进行关联访问的问题。
-
公开(公告)号:CN109388733A
公开(公告)日:2019-02-26
申请号:CN201810916036.2
申请日:2018-08-13
Applicant: 国网浙江省电力有限公司 , 浙江华云信息科技有限公司 , 国网浙江仙居县供电有限公司
IPC: G06F16/901 , G06F9/448
Abstract: 本发明提出一种新的图数据处理引擎优化方法,其特征在于,采用本地迭代,全局通信的处理方式,所述处理方式首先在同一计算节点上开展计算,直到该计算节点上的所有图节点的数据都完成更新则停止局部迭代;在同一计算节点上开展计算的同时,边缘图节点缓存并合并消息,待局部迭代停止后批量传输计算节点间发送的消息,所述边缘图节点为跨两个或多个计算节点的图节点。
-
公开(公告)号:CN111159754A
公开(公告)日:2020-05-15
申请号:CN201911271280.9
申请日:2019-12-12
Applicant: 浙江华云信息科技有限公司
Inventor: 石佳 , 阳东 , 胡如一 , 吴美娟 , 纪德良 , 王澍 , 解林超 , 王仲锋 , 杨春晨 , 王永平 , 于亚丰 , 汪娟玉 , 丁雪花 , 姜震 , 蒋斌 , 徐宏伟 , 姜小建 , 吕旭芬 , 谭程文 , 李冰 , 方豪强
IPC: G06F21/62 , G06F16/2452
Abstract: 本发明公开了一种逆向解析的数据脱敏方法及装置,方法包括如下步骤:接收用户发送的查询数据的SQL语句;判断SQL语句是否含有涉及敏感数据的字段的目标列表达式,若不是则终止对SQL语句的处理;判断SQL语句是否有嵌套查询;由内到外逐层递归,直至含有涉及敏感数据的字段的目标列表达式位于SQL语句中最外层的嵌套查询;根据预先设置的脱敏转换规则对所述SQL语句的目标列表达式进行转换,使转换后的SQL语句访问到的敏感数据为脱敏数据;输出SQL语句所要查询的数据;并公开了相应的装置。本发明基于SQL语义逆向自动解析出字段演变足迹的方法,智能分析出最终数据结果是否脱敏处理。
-
公开(公告)号:CN111143468A
公开(公告)日:2020-05-12
申请号:CN201911267516.1
申请日:2019-12-11
Applicant: 浙江华云信息科技有限公司
Inventor: 解林超 , 纪德良 , 王永平 , 方豪强 , 石佳 , 王仲锋 , 阳东 , 杨春晨 , 于亚丰 , 汪娟玉 , 丁雪花 , 胡如一 , 姜震 , 蒋斌 , 王澍 , 徐宏伟 , 姜小建 , 吕旭芬 , 谭程文 , 李冰 , 吴美娟
Abstract: 本申请实施例提出的基于MPP分布式技术的多数据库数据管理方法,包括获取源数据库的结构信息,将结构信息发送至消息队列集群;周期性的从消息队列集群中获取结构信息,解析结构信息得到对应每个源数据库的模式以及表结构信息,基于解析得到的模式以及表结构信息构建CSV文件;基于对应每个源数据库的CSV文件的文件内容在MPP数据库中创建与源数据库相同结构的数据库。通过将原来属于不同数据库的数据快速镜像到MPP分布式数据库,完全保留原有数据库的表层级结构,表字段结构,表索引和表数据。上层业务和开发人员只需接入MPP分布式数据库对相关数据进行统一的访问和管理,从而解决原来不能对跨数据库进行关联访问的问题。
-
公开(公告)号:CN118071430A
公开(公告)日:2024-05-24
申请号:CN202410092651.1
申请日:2024-01-23
Applicant: 国网浙江省电力有限公司 , 浙江华云信息科技有限公司
IPC: G06Q30/0283 , G06Q50/06
Abstract: 本发明公开了基于第三监管周期的输配电价比选模型构建方法,属于输配电技术领域,包括:获取第三监管周期对应的电力参数;基于电力参数分别计算输配电价比选模型的用电水平参数和负荷特性参数;确定临界条件,基于临界条件计算用电水平参数和负荷特性参数对应的临界参数;基于用电水平参数和负荷特性参数对应的临界参数构建输配电价比选模型;基于输配电价比选模型确定最优计费策略。本方案通过构建的输配电价比选模型,可以根据不同用户的实际情况调整,提供更具灵活性的比选方案;通过输配电价比选模型来确定最优最可靠的的计费策略,能够方便用户选择最优电价策略,根据最优电价策略进而减少用户电费支出成本,提高了整体能源利用效率。
-
公开(公告)号:CN111159178A
公开(公告)日:2020-05-15
申请号:CN201911271405.8
申请日:2019-12-12
Applicant: 浙江华云信息科技有限公司
Inventor: 王仲锋 , 杨春晨 , 丁雪花 , 李冰 , 纪德良 , 石佳 , 解林超 , 阳东 , 王永平 , 于亚丰 , 汪娟玉 , 胡如一 , 姜震 , 蒋斌 , 徐宏伟 , 王澍 , 姜小建 , 吕旭芬 , 谭程文 , 吴美娟 , 方豪强
IPC: G06F16/22 , G06F16/248 , G06F16/242
Abstract: 本发明涉及大数据处理领域,尤其涉及一种基于大数据SQL解析的数据地图路径导航方法,包括:对来自各数据应用系统的数据查询脚本、数据库执行日志通过SQL解析,获取数据表、数据字段之间的关联关系;建立数据表关系库,将解析出的数据表、数据字段之间的关联关系存储至数据表关系库;将数据表与数据字段通过数据表、数据字段之间的关联关系连接形成数据网络,以编制数据拓扑关系图,依托拓扑关系图构建数据业务地图;在数据业务地图中设置起始点数据表和终点数据表,根据数据表关系库进行计算,求得所需要的数据路径并在数据业务地图上显示。本发明的有益效果:实现数据的导航以及查询。
-
-
-
-
-
-
-