-
公开(公告)号:CN116468010A
公开(公告)日:2023-07-21
申请号:CN202310171452.5
申请日:2023-02-27
申请人: 河钢数字技术股份有限公司
IPC分类号: G06F40/174 , G06F40/18 , G06F40/186
摘要: 本发明提供一种报表生成方法、装置、终端及存储介质。该方法包括:根据报表扩展规则文件生成报表模板;其中,报表扩展规则文件包括单元格定义和单元格关联关系,单元格定义包括维度字段和指标字段,维度字段用于指示单元格的名称,指标字段用于指示单元格的数值类型,单元格关联关系用于指示每个单元格与其他单元格之间的逻辑关系;根据单元格定义,在用户提供的原始数据库中查找需要的数据并拷贝至报表模板,得到初始报表;根据单元格关联关系,计算初始报表中各子格的值,得到目标报表;其中,子格为引用其他单元格的单元格。本发明能够根据用户提供的各类报表格式,自动对应生成报表,具有更强的灵活性。
-
公开(公告)号:CN115658261A
公开(公告)日:2023-01-31
申请号:CN202211298514.0
申请日:2022-10-23
申请人: 河钢数字技术股份有限公司
IPC分类号: G06F9/48
摘要: 本发明公开了基于有向无环图的任务编排调度系统,包括任务触发器、流程解析引擎、任务启动器、任务加载器、任务执行器、任务总线;任务触发器,任务流的启动者,负责启动任务执行流;规则解析引擎,负责解析使用者配置的规则,本发明能够解除依赖超时风险;在上游某个任务超时,不会因为等待该任务而导致其他的任务无法执行带来的请求保持问题,提高服务器CPU使用效率;能够节省开发成本;性能提升;释放主线程的请求等待问题,在上游接口请求耗时越不均匀,中台接口请求越复杂时,能体现本技术的性能优势;能够提高效率;适用于海量数据的复杂业务场景,可以更好的匹配复杂的业务场景,让整个任务编排根据业务可以实现模块化管理。
-
公开(公告)号:CN117540064A
公开(公告)日:2024-02-09
申请号:CN202311306126.7
申请日:2023-10-10
申请人: 河钢数字技术股份有限公司 , 雄安威赛博智能科技有限公司
IPC分类号: G06F16/9035 , G06F16/9038 , G06F16/903
摘要: 本申请适用于电数字数据处理技术领域,提供了报表生成方法、装置、设备及存储介质,该方法包括:获取数据库数据集、待生成报表中的字段、待生成报表中字段的排布位置和预设的各个字段中数据的排列顺序;通过数据集查询过滤器对所述数据库数据集进行筛选处理,得到优化数据集;其中,所述优化数据集为所述数据库数据集中与所述待生成报表生成相关的全部数据的集合;基于所述待生成报表中的字段、所述待生成报表中字段的排布位置、所述预设的各个字段中数据的排列顺序和所述优化数据集,生成目标报表。本申请可以提高报表的生成速度和灵活度。
-
公开(公告)号:CN117435670A
公开(公告)日:2024-01-23
申请号:CN202311251998.8
申请日:2023-09-26
申请人: 河钢数字技术股份有限公司 , 河钢雄安数字科技有限公司 , 西安电子科技大学
IPC分类号: G06F16/27 , G06F16/2458 , G06F16/2455 , G06F16/21 , G06F9/54
摘要: 本申请适用于电数字数据处理技术领域,提供了异构数据源同步方法、系统、电子设备及存储介质,该异构数据源同步方法包括:获取异构数据源中数据库日志的数据变更信息,并分别存储到第一Topic中;获取第一Topic中的数据变更信息,并将第一Topic中的数据变更信息包装为多条事件流;将每条事件流中的数据变更信息转化为MyRecord对象,并将事件流进行分区,形成多个键控流,对每个键控流上的MyRecord对象进行聚合;将聚合后的多条事件流合并为一条事件流,整合合并后的事件流,并存储到第二Topic中;将第二Topic中的数据变更信息分发到目标数据库。本申请实施例可同时兼顾实时性、低侵入性和较高同步效率。
-
公开(公告)号:CN114625357A
公开(公告)日:2022-06-14
申请号:CN202210375277.7
申请日:2022-04-11
申请人: 河钢数字技术股份有限公司
IPC分类号: G06F8/34
摘要: 本发明公开了一种基于二维组件多交互技术的可视化编排平台,涉及数据处理技术领域。通过图形、表格、地图、按钮、文本、翻牌器、媒体、3D模型等组件与交互事件结合,在可视化平台中构建与用户心理映射模型一致的大屏,直观的展示企业数据、工业设备、工作流程的真实情况。对多种数据源的实时采集,支持多种数据源采集与绑定,通过数字化的手段对实体对象作业过程、产生数据进行动态分析、展示;以数据形式为企业生产现状进行分析,为企业后续发展提供支撑。
-
公开(公告)号:CN115016906A
公开(公告)日:2022-09-06
申请号:CN202210422612.4
申请日:2022-04-21
申请人: 河钢数字技术股份有限公司
IPC分类号: G06F9/48
摘要: 本发明涉及工作流技术领域,具体为一种基于工作流任务的数据治理方法及系统,包括zookeeper框架、netty框架、quartz框架和多线程模块,所述执行流程包括以下步骤:创建保存工作流并将任务保存至关系型数据库中;多个主节点抢夺分布式锁,其中一个主节点的扫描线程获取所需执行的工作流;主节点拆分工作流为不同小任务,通过所述netty框架提交给从节点;从节点执行任务,完成后通过所述netty框架将执行结果返回主节点,由主节点将结果保存;对定时运行的任务,主节点扫描后将任务提交给所述quartz框架,自动运行相应工作流。本发明采用zookeeper,netty,quartz框架,可通过拖拽可视形式化配置任务,实时监控数据治理任务的运行状态,配置数据治理任务定时调度运行。
-
公开(公告)号:CN114880343A
公开(公告)日:2022-08-09
申请号:CN202210483036.4
申请日:2022-05-05
申请人: 河钢数字技术股份有限公司
IPC分类号: G06F16/242 , G06F16/2455 , G06F16/27 , G06F9/54
摘要: 本发明公开了一种优化维度组合的多维分析方法和系统,涉及多维数据分析技术领域。该优化维度组合的多维分析方法和系统,数据源模块支持导入Hive数据和Kafka消息队列,并对外提供Restful风格的接口方便调用;构建预处理cube模块时,提供可视化的客户端界面,用户可以自行选择维度、度量来构建符合自身需求;构建cube中提供了高级可选项,其中包含衍生维度的选择,聚合组的添加,必须维度的确定,层级制度及联合维度的设定;计算模块中提供MapReduce计算引擎和Spark计算引擎灵活处理不同情况。
-
公开(公告)号:CN117290442A
公开(公告)日:2023-12-26
申请号:CN202311252057.6
申请日:2023-09-26
申请人: 河钢数字技术股份有限公司 , 河钢雄安数字科技有限公司 , 河钢集团有限公司 , 西安电子科技大学
摘要: 本申请适用于数据库间的数据同步技术领域,提供了数据库间的数据同步方法、系统、电子设备及存储介质,该数据库间的数据同步方法包括:获取上游数据库的数据变更记录,先将数据变更记录进行预存,再进行读取和预处理,得到第一变更记录对象,然后,将相同表名且相同行id的第一变更记录对象划分至同一区域,对于每一个区域,创建一个整合窗口,通过整合窗口接收对应区域中的第一变更记录对象,对整合窗口中的第一变更记录对象进行整合,得到第二变更记录对象,然后将第二变更记录对象进行预存,最后读取第二变更记录对象,并将第二变更记录对象的数据同步到下游数据库中。本申请能够提高数据库间的变更数据的同步效率。
-
-
-
-
-
-
-