-
公开(公告)号:CN112650587A
公开(公告)日:2021-04-13
申请号:CN202011560267.8
申请日:2020-12-25
Applicant: 国网浙江省电力有限公司信息通信分公司 , 浙江华云信息科技有限公司
Abstract: 本发明涉及一种基于分布式统一收集分发编排任务方法,本发明解决现有技术的问题,其技术方案要点是,步骤一,任务编排;步骤二,将一个业务分拆分配;步骤三,执行配置负载均衡分发策略,轮询将请求顺序循环地发到每个服务器,当其中一个服务器发生故障时,就把发生故障的服务器从顺序循环队列中拿出,直到恢复正常;步骤四,针对集群统一收集分发编排,采用消息中间件线程安全队列,采用生产者消费者模式,有序分发任务至集群服务器,集群服务器通过自己的配置设定解决任务,并通过消息中间件反馈任务情况;步骤五,针对任务节点异常情况,任务编排端接收节点异常情况,提供解决方案。
-
公开(公告)号:CN111159754A
公开(公告)日:2020-05-15
申请号:CN201911271280.9
申请日:2019-12-12
Applicant: 浙江华云信息科技有限公司
Inventor: 石佳 , 阳东 , 胡如一 , 吴美娟 , 纪德良 , 王澍 , 解林超 , 王仲锋 , 杨春晨 , 王永平 , 于亚丰 , 汪娟玉 , 丁雪花 , 姜震 , 蒋斌 , 徐宏伟 , 姜小建 , 吕旭芬 , 谭程文 , 李冰 , 方豪强
IPC: G06F21/62 , G06F16/2452
Abstract: 本发明公开了一种逆向解析的数据脱敏方法及装置,方法包括如下步骤:接收用户发送的查询数据的SQL语句;判断SQL语句是否含有涉及敏感数据的字段的目标列表达式,若不是则终止对SQL语句的处理;判断SQL语句是否有嵌套查询;由内到外逐层递归,直至含有涉及敏感数据的字段的目标列表达式位于SQL语句中最外层的嵌套查询;根据预先设置的脱敏转换规则对所述SQL语句的目标列表达式进行转换,使转换后的SQL语句访问到的敏感数据为脱敏数据;输出SQL语句所要查询的数据;并公开了相应的装置。本发明基于SQL语义逆向自动解析出字段演变足迹的方法,智能分析出最终数据结果是否脱敏处理。
-
公开(公告)号:CN111143468A
公开(公告)日:2020-05-12
申请号:CN201911267516.1
申请日:2019-12-11
Applicant: 浙江华云信息科技有限公司
Inventor: 解林超 , 纪德良 , 王永平 , 方豪强 , 石佳 , 王仲锋 , 阳东 , 杨春晨 , 于亚丰 , 汪娟玉 , 丁雪花 , 胡如一 , 姜震 , 蒋斌 , 王澍 , 徐宏伟 , 姜小建 , 吕旭芬 , 谭程文 , 李冰 , 吴美娟
Abstract: 本申请实施例提出的基于MPP分布式技术的多数据库数据管理方法,包括获取源数据库的结构信息,将结构信息发送至消息队列集群;周期性的从消息队列集群中获取结构信息,解析结构信息得到对应每个源数据库的模式以及表结构信息,基于解析得到的模式以及表结构信息构建CSV文件;基于对应每个源数据库的CSV文件的文件内容在MPP数据库中创建与源数据库相同结构的数据库。通过将原来属于不同数据库的数据快速镜像到MPP分布式数据库,完全保留原有数据库的表层级结构,表字段结构,表索引和表数据。上层业务和开发人员只需接入MPP分布式数据库对相关数据进行统一的访问和管理,从而解决原来不能对跨数据库进行关联访问的问题。
-
公开(公告)号:CN111159178B
公开(公告)日:2023-06-13
申请号:CN201911271405.8
申请日:2019-12-12
Applicant: 浙江华云信息科技有限公司
Inventor: 王仲锋 , 杨春晨 , 丁雪花 , 李冰 , 纪德良 , 石佳 , 解林超 , 阳东 , 王永平 , 于亚丰 , 汪娟玉 , 胡如一 , 姜震 , 蒋斌 , 徐宏伟 , 王澍 , 姜小建 , 吕旭芬 , 谭程文 , 吴美娟 , 方豪强
IPC: G06F16/22 , G06F16/248 , G06F16/242
Abstract: 本发明涉及大数据处理领域,尤其涉及一种基于大数据SQL解析的数据地图路径导航方法,包括:对来自各数据应用系统的数据查询脚本、数据库执行日志通过SQL解析,获取数据表、数据字段之间的关联关系;建立数据表关系库,将解析出的数据表、数据字段之间的关联关系存储至数据表关系库;将数据表与数据字段通过数据表、数据字段之间的关联关系连接形成数据网络,以编制数据拓扑关系图,依托拓扑关系图构建数据业务地图;在数据业务地图中设置起始点数据表和终点数据表,根据数据表关系库进行计算,求得所需要的数据路径并在数据业务地图上显示。本发明的有益效果:实现数据的导航以及查询。
-
公开(公告)号:CN111159178A
公开(公告)日:2020-05-15
申请号:CN201911271405.8
申请日:2019-12-12
Applicant: 浙江华云信息科技有限公司
Inventor: 王仲锋 , 杨春晨 , 丁雪花 , 李冰 , 纪德良 , 石佳 , 解林超 , 阳东 , 王永平 , 于亚丰 , 汪娟玉 , 胡如一 , 姜震 , 蒋斌 , 徐宏伟 , 王澍 , 姜小建 , 吕旭芬 , 谭程文 , 吴美娟 , 方豪强
IPC: G06F16/22 , G06F16/248 , G06F16/242
Abstract: 本发明涉及大数据处理领域,尤其涉及一种基于大数据SQL解析的数据地图路径导航方法,包括:对来自各数据应用系统的数据查询脚本、数据库执行日志通过SQL解析,获取数据表、数据字段之间的关联关系;建立数据表关系库,将解析出的数据表、数据字段之间的关联关系存储至数据表关系库;将数据表与数据字段通过数据表、数据字段之间的关联关系连接形成数据网络,以编制数据拓扑关系图,依托拓扑关系图构建数据业务地图;在数据业务地图中设置起始点数据表和终点数据表,根据数据表关系库进行计算,求得所需要的数据路径并在数据业务地图上显示。本发明的有益效果:实现数据的导航以及查询。
-
公开(公告)号:CN111143468B
公开(公告)日:2022-12-06
申请号:CN201911267516.1
申请日:2019-12-11
Applicant: 浙江华云信息科技有限公司
Inventor: 解林超 , 纪德良 , 王永平 , 方豪强 , 石佳 , 王仲锋 , 阳东 , 杨春晨 , 于亚丰 , 汪娟玉 , 丁雪花 , 胡如一 , 姜震 , 蒋斌 , 王澍 , 徐宏伟 , 姜小建 , 吕旭芬 , 谭程文 , 李冰 , 吴美娟
Abstract: 本申请实施例提出的基于MPP分布式技术的多数据库数据管理方法,包括获取源数据库的结构信息,将结构信息发送至消息队列集群;周期性的从消息队列集群中获取结构信息,解析结构信息得到对应每个源数据库的模式以及表结构信息,基于解析得到的模式以及表结构信息构建CSV文件;基于对应每个源数据库的CSV文件的文件内容在MPP数据库中创建与源数据库相同结构的数据库。通过将原来属于不同数据库的数据快速镜像到MPP分布式数据库,完全保留原有数据库的表层级结构,表字段结构,表索引和表数据。上层业务和开发人员只需接入MPP分布式数据库对相关数据进行统一的访问和管理,从而解决原来不能对跨数据库进行关联访问的问题。
-
-
-
-
-