-
公开(公告)号：CN117707740A
公开(公告)日：2024-03-15
申请号：CN202410052031.5
申请日：2024-01-15
Applicant: 美林数据技术股份有限公司
Abstract: 本发明公开一种分布式大数据任务调度方法及计算机设备，属于互联网技术领域，本发明包括如下步骤：当客户端提交任务至分布式任务提交服务时，启动对不同节点下主机的资源使用情况的监控；根据监控结果，将得到的当前分布式任务运行主机的资源使用情况同步到分布式任务提交服务上；分布式任务提交服务根据节点资源使用情况将任务分配到满足条件的节点上；当所有主机资源不足时，提交的任务保存到本地的任务队列中；同时根据监控结果判断是否有满足提交任务的节点资源，若有，则从任务队列中取出首个任务提交到该节点上，通过本发明使得即使在客户端任务较多的情况下，提交的任务也会排队等待处理，业务分析不会中断。
-
公开(公告)号：CN116166686A
公开(公告)日：2023-05-26
申请号：CN202211570969.3
申请日：2022-12-08
Applicant: 美林数据技术股份有限公司
IPC: G06F16/242 , G06F16/2458 , G06F16/26
Abstract: 本发明公开了基于维度模型的指标计算引擎实现方法，包括以下步骤：构建多维模型表和维度表，形成数据来源；根据明细表，结合函数计算原子指标；使用原子指标，得到衍生指标；解析技术口径、维度以及运算公式生成动态SQL语句，得到衍生指标计算结果；基于衍生指标计算结果，解析引擎配置表中的技术口径，同时解析生成动态SQL语句，封装成对应程序模块并执行，得到复合指标计算结果；构建相同维度以及相同数据统计期的衍生指标和复合指标的汇总表；调度运行后生成指标表，在应用层中，显示汇总表，并通过人机交互，提供对外服务。本发明中，保证了指标统一归口管理，指标口径统一出去，指标统一运算和监控，从而有效支撑各应用报表用数需求。
-
公开(公告)号：CN116166372A
公开(公告)日：2023-05-26
申请号：CN202211554950.X
申请日：2022-12-06
Applicant: 美林数据技术股份有限公司
Abstract: 本发明涉及数据任务执行领域，具体设计数据任务执行方法，用于基于Spark的Kubernetes之上的数据任务，其通过增加Local模式和任务管控过程，解决原有集群模式的资源浪费和任务启动时间较长的问题。使用定义容器启动入口的方式完成Spark任务Local模式的引导，完成任务的模式的执行过程的管控。以命令行的方式终止任务进程，解决Kubernetes容器无法快速终止，且无法保持日志的问题。Spark是专为大规模数据处理而设计的快速通用的计算引擎。Kubernetes是管理云平台中多个主机上的容器化的应用。
-
公开(公告)号：CN111061767B
公开(公告)日：2023-05-05
申请号：CN201911254622.6
申请日：2019-12-10
Applicant: 美林数据技术股份有限公司
IPC: G06F16/2455 , G06Q30/0201
Abstract: 本发明提供了一种基于内存计算与SQL计算的数据处理方法，包括：重构分析表达式语义体系，以跨颗粒度表达式建立数据库的内部核心语法规则，和跨颗粒度表达式返回的对象建立外层语法规则；以及重构分析表达式计算框架，包括计算逻辑生成器以及计算执行器，所述计算逻辑生成器将根据输入的语义模型和元数据模型的模型信息，识别计算逻辑，并根据所述计算逻辑构建DAG流；所述计算执行器接受DAG流与多个计算模型，生成计算任务，提交发布执行。效提升BI在业务计算方面的灵活度，无需受限于数据仓库，无需提前预计算，或者抽取数据建立数据中心，仅借助SQL与内存计算机制即可实现复杂的业务计算。
-
公开(公告)号：CN115952145A
公开(公告)日：2023-04-11
申请号：CN202211588225.4
申请日：2022-12-12
Applicant: 美林数据技术股份有限公司
IPC: G06F16/182 , G06F16/27 , G06F16/25 , G06F16/17
Abstract: 本发明公开一种分布式信号数据分析系统，包括信号数据读取模块，信号数据读取模块包括有HDFS，HDFS搭载分布式计算引擎，信号数据读取模块基于HDFS从信号文件或数据库中的分布式提取数据，将数据分布式读取为信号数据，实现离线的信号数据的IO加速；信号数据与表格数据转换模块，用于将信号数据借助Arrow通信转换为信号DataFrame；信号数据分析模块，用于通过Arrow序列化和反序列化来实现Spark和Python间的数据通信，并基于动态内存加载的信号分析函数引用机制实现分块调用信号分析函数。本发明分调用了Spark集群资源，能够避免单机计算海量信号数据时面临的资源不足的问题，同时提高对海量信号数据分析的执行效率。
-
Patent Agency Ranking
公开(公告)号：CN115904327A
公开(公告)日：2023-04-04
申请号：CN202211555041.8
申请日：2022-12-06
Applicant: 美林数据技术股份有限公司
Abstract: 本发明涉及代码开发技术领域，公开了一种前后端分离开发模式下的代码生成方法及系统，所述代码生成工具为以jar包形式发布的代码生成工具。包括：通过Web交互页面对工程及业务模块代码使用配置拖拽的形式进行快速生成；在生成代码的过程中，同时由代码生成工具在创建代码的过程中自动引入前端及后端相关依赖包。通过Web交互页面生成代码后的应用程序即可运行访问。本发明代码的生成过程简单、效率高、减少重复编码、缩短开发周期、降低软件的开发成本。
-
公开(公告)号：CN115756748A
公开(公告)日：2023-03-07
申请号：CN202211470094.X
申请日：2022-11-23
Applicant: 美林数据技术股份有限公司
IPC: G06F9/455
Abstract: 本发明提供一种基于容器化服务管理的云端构建方法，包括以下步骤：于基础设置层内，至少设有预设模块以及编译模块；用户通过基础设置层，自定义镜像相关模块，所述镜像相关模块包括服务镜像模块、中间件镜像模块和特定场景下的服务模块，并对上述各个模块进行用户配置构建和参数信息配置；用户于操作系统层中，手动执行自动构建脚本服务，其根据配置的信息参数和用户配置，自动生成目标服务镜像；根据目标服务镜像，于容器引擎层，启动脚本和服务镜像文件，使其运行对应服务镜像的容器，得到容器化镜像；所述基础设置层、用户操作层和容器引擎层形成高内聚低耦合的架构，所述用户操作层中，各个操作步骤的过程封装为一维数组键值对进行实现。
-
公开(公告)号：CN107741999B
公开(公告)日：2021-04-30
申请号：CN201710780167.8
申请日：2017-09-01
Applicant: 美林数据技术股份有限公司
Abstract: 本发明涉及一种基于图计算及机器学习的电网拓扑结构跨系统自动匹配与构建的方法，基于图数据库构建营销、生产、调度三大系统各自的拓扑关系；然后通过向量空间模型根据节点的图结构特征和文本特征建立不同系统间相似节点自动匹配模型；对匹配结果利用分箱得到异常阈值，进而建立差异节点识别模型；对于存在差异的节点，根据节点其他属性及差异度进行纠正；最后将三大系统的拓扑结构以相同节点为锚点进行关联，建立跨系统的电网全图谱。本发明通过对电网不同系统间的拓扑结构匹配与建立，实现“营配调一张图”，开展营配调一体化应用，全面推进电力公司营销和配网现代化管理方式的根本转变。
-
公开(公告)号：CN112256882A
公开(公告)日：2021-01-22
申请号：CN202011109514.2
申请日：2020-10-16
Applicant: 美林数据技术股份有限公司
Abstract: 本发明公开了一种基于多重相似度的配网实体融合方法，包括：步骤1，获取各配网单系统中的实体、属性与关系的信息；步骤2，基于步骤1获取到的信息，构建各配网单系统的知识图谱，将设备实体的关键信息以图结构进行存储；步骤3，根据步骤2得到的各配网单系统的知识图谱，利用实体相似度计算的方法来计算不同系统中配网实体的相似度的值；步骤4，步骤3得到了实体之间的相似度的值，将其与设置的阈值进行比较，从而判定是否对满足该相似度的实体对进行融合，即认为该配网实体对代表了同一物理实体。解决现有技术中存在的台账记录多头录入、数据一致性不高的问题。
-
公开(公告)号：CN109697238B
公开(公告)日：2021-01-01
申请号：CN201811599580.5
申请日：2018-12-26
Applicant: 美林数据技术股份有限公司
Abstract: 本公开提供一种数据处理方法及装置，涉及信息技术领域，能够直观地向用户展示图数据库中的数据。具体技术方案为：获取目标数据，所述目标数据包括图数据库所存储的K个节点，所述K个节点包括标签，K≥1；根据所述K个节点的标签，将所述K个节点划分为G个分组，G≥1；显示目标分组的节点，所述目标分组为所述G个分组中的任一分组。本公开用于数据处理。
-
-
-
-
-
-
-
-
-
Search Results
104
records
(took 0.05 seconds)
