-
公开(公告)号:CN117009428A
公开(公告)日:2023-11-07
申请号:CN202311003483.6
申请日:2023-08-09
Applicant: 美林数据技术股份有限公司
IPC: G06F16/26 , G06F16/25 , G06F40/289 , G06F40/216 , G06F18/22 , G06N3/0455
Abstract: 本发明公开了一种高效率智能化数据探查方法,涉及数据探查技术领域,包括:构造统一数据源管理、探查数据的生成、探查数据自检、参数配置以及范围探查、探查数据的分析及统计、探查数据标签识别以及数据的反馈展示。该高效率智能化数据探查方法,在进行数据探查的时候,通过采用统一的数据源接口可以实现不同类型数据库中的快速数据探查,满足市面上绝大多数数据库类型,并且在进行数据探查的时候,还可以通过对探查数据的分析及统计,得到数据更加详细的信息,便于更直观的了解数据,同时在对数据进行探查的时候,利用Python的特点,并与数据库相结合,从而可以使得数据探查更加快速便捷,同时还提高了准确性。
-
公开(公告)号:CN115794907A
公开(公告)日:2023-03-14
申请号:CN202211588133.6
申请日:2022-12-12
Applicant: 美林数据技术股份有限公司
IPC: G06F16/2458 , G06F16/22 , G06F16/28
Abstract: 本发明公开一种基于布隆过滤算法的自动发现关系型数据库不同表数据间相似性的方案,从关系数据库中读取全部表信息,并形成表信息字典并存储;采用布隆过滤算法,基于N的唯一值集合建立过滤器;将建立的布隆过滤,传入M的唯一值集合,过滤值并统计返回结果集合{R1,R2,R3,…Rn:Rε(True,False)};统计概率W:∑R{true}/(R{true|false});当W>ɑ(ɑ为给定阈值)则判定M与N相似,否则不相似。本发明无需依赖任何人为规则、人工判断、预定义说明,可以对全部表、全部字段进行分析,并对表间数据相似性进行判断,可以用于数据治理过程中的主数据发现、数据参考关系生成、数据表间关系构建,使得传统数据治理过程由手工化转向智能化,有效提升治理准确性和治理效率。
-
公开(公告)号:CN110175225A
公开(公告)日:2019-08-27
申请号:CN201910343255.0
申请日:2019-04-26
Applicant: 美林数据技术股份有限公司
IPC: G06F16/332 , G06F16/338
Abstract: 本公开提供一种非结构文本数据处理方法及装置,涉及信息技术领域,能够提高建模效率。具体技术方案为:从候选的K类自然语言处理算法中,选定T个数据处理节点各自对应的自然语言处理算法;其中,K≥1,T≥1,一个数据处理节点对应一类自然语言处理算法;确定所述T个数据处理节点之间的数据传输方向,所述数据传输方向用于指示所述T个数据处理节点之间的输入输出关系;根据所述T个数据处理节点各自对应的自然语言处理算法以及所述数据传输方向生成自然语言处理模型。本公开用于非结构化文本数据分析处理。
-
公开(公告)号:CN105302915B
公开(公告)日:2019-04-09
申请号:CN201510782709.6
申请日:2015-12-23
Applicant: 美林数据技术股份有限公司
IPC: G06F16/25 , G06F16/22 , G06F16/2453
Abstract: 本发明公开了基于内存计算的高性能数据处理系统,包括:一数据采集接口定义模块,通过选择数据表,并自动提取数据表相关字段,由用户根据字段类型和范围进行压缩方式定义;一数据实时采集模块,根据数据采集接口定义模块定义的元数据从数据源抽取相关数据,其中元数据一般指定义数据格式的数据,数据源是指具体业务数据,一般指企业业务系统关系数据库;一数据内存存储模块,将数据通过字典方式,整形编码和压缩算法以字节码的形式存内存之中;以及一数据处理模块,所述数据处理模块包括SQL解析模块,根据需要将统计中的记录进行提取。本发明将数据经过在不损失统计精度和速度的前提下经过压缩和重组以字节的方式存入内存。
-
公开(公告)号:CN106204321A
公开(公告)日:2016-12-07
申请号:CN201610504072.9
申请日:2016-06-30
Applicant: 西安美林数据技术股份有限公司
CPC classification number: G06Q50/06 , G06K9/6218
Abstract: 本发明公开了一种智能制定电力客户削峰填谷策略的方法,包括:利用两步聚类算法对区域电网一定时间内的负荷曲线聚类,获取区域电网聚类结果,包括聚类中心曲线及聚类明细;划分区域电网负荷曲线峰段、谷段,并结合区域电网聚类结果,匹配出对应日期的用电客户曲线;分别在峰段、谷段下,利用两步聚类算法对某类区域电网同期的用电客户负荷曲线聚类,获取用电客户的聚类结果,包括聚类中心曲线及聚类明细;根据区域电网下用电客户聚类中心曲线归一化均值,区域电网与对应的用电客户聚类中心曲线的相似度,构建电力客户削峰填谷指数。本发明实用性强,避免了只考虑曲线形态或者负荷绝对值导致推荐削峰填谷的电力客户不符合实际情况的缺点。
-
公开(公告)号:CN117873461A
公开(公告)日:2024-04-12
申请号:CN202311633679.3
申请日:2023-12-01
Applicant: 美林数据技术股份有限公司
Abstract: 本申请属于机器学习技术领域,尤其涉及一种多语言Pipeline轻量模型构建方法,步骤一、Python通用算法模型的开发:设计python和scala,java语言之间离线批量数据传输结构;基于Spark、Mleap框架开发python算子,实现spark Dataframe在scala和python语言之间数据传输;步骤二、ML Pipeline模型训练流程搭建:基于业务场景,选择算子搭建机器学习流水线模型,调用模型的序列化方法,生成最终的MLeap Bundle模型。步骤三、基于MLeap Runtime的实时预测服务搭建:搭建mleap runtime运行池环境,将Spark MLlib模型序列化成MLeap格式,部署一个预测服务,加载序列化的模型并处理实际的预测请求。该方法使用Python和Scala,Java三种不同的语言以及相关的机器学习库和框架混合建模,提出了端到端的多语言机器学习pipeline,从而充分发挥它们各自的优势。
-
公开(公告)号:CN117235248A
公开(公告)日:2023-12-15
申请号:CN202311214755.7
申请日:2023-09-20
Applicant: 美林数据技术股份有限公司
IPC: G06F16/338 , G06F16/33 , G06F40/117 , G06F40/205 , G06F40/279 , G06N5/04
Abstract: 本发明公开一种基于自然语言大模型的数据可视化分析方法,包括以下步骤,将数据通过元数据标注转换为业务模型。将标注的元数据转化为向量形式,并进行存储;使用自然语言进行数据探索和分析,并结合大模型推理技术实现意图识别;从向量库中提取与分析相关的元数据信息;将分析意图与关联元数据结合利用提词工程技术生成SQL/DSL语言;利用分析引擎执行生成的SQL/DSL语言,获取数据并进行分析;根据用户需求和数据类型,选择适合的数据可视化方式,将处理后的数据进行直观、灵活和高效的可视化展示。本发明主要应用于数据可视化领域,能够帮助用户通过自然语言大模型的方式更好的分析和理解数据,快速实现数据的可视化查询和分析。
-
公开(公告)号:CN115758302A
公开(公告)日:2023-03-07
申请号:CN202211570574.3
申请日:2022-12-08
Applicant: 美林数据技术股份有限公司
IPC: G06F21/31 , G06F16/22 , G06F16/242 , G06F16/26
Abstract: 本发明属于预警技术领域,具体公开了具有身份识别功能的预警方法,包括以下步骤:用户将需要预警的业务数据接入与预警平台中,预警平台通过数据模型引擎自动获取元数据信息并存储;所述元数据信息包括若干个用户,以及每个用户可获取和/或接收预警数据的权限;用户根据任务调度引擎设定任务执行策略以及任务启动周期;任务执行策略执行任务时,当任务执行策略与预警规则匹配时,触动预警模块,预警模块匹配出预警发送对应的用户,并将预警信息通过可视化图形的展示方式,发送给对应的用户。本发明通过所见即所得的自动化预警配置和触发机制,解决企业中业务问题无法实时被员工获取的问题。
-
公开(公告)号:CN106202700A
公开(公告)日:2016-12-07
申请号:CN201610532665.6
申请日:2016-07-07
Applicant: 西安美林数据技术股份有限公司
Abstract: 本发明公开了一种光伏发电出力预测的数据分析方法,具体包括获取某地区的发电出力历史数据与相应的影响因素数据;利用小波变换把历史出力曲线分解成一个历史主体出力曲线A3和三个历史细节出力曲线D1,D2,D3;对历史主体出力曲线A3和三个历史细节出力曲线D1,D2,D3利用PSO-RBF神经网络分别建立四个子预测模型;分别计算待测日的主体出力曲线 和三个细节出力曲线 对待测日的主体出力曲线和三个细节出力曲线利用小波重构得到待测日的出力曲线的预测值。本方法将小波变换和PSO-RBF神经网络结合在一起,对于光伏发电系统配合电力系统制定发电计划具有较高的使用价值。
-
公开(公告)号:CN105930353A
公开(公告)日:2016-09-07
申请号:CN201610216835.X
申请日:2016-04-08
Applicant: 西安美林数据技术股份有限公司
CPC classification number: G06F16/285 , G06K9/6223 , G06Q10/06398
Abstract: 本发明公开了一种海量数据下的呼叫中心客服工作人员特征细分方法,包括:获取预设量的工作人员;确定聚类指标,并确定呼叫中心每个工作人员与聚类指标对应的数据为该工作人员的聚类指标数据;根据每个工作人员的聚类指标数据利用并行K‑Means算法进行聚类,得到聚类结果;根据聚类结果将工作人员分成不同的类,得到分群结果。本申请公开的一种呼叫中心工作人员管理方法能够自动适应海量数据下的工作人员细分工作,准确度较高,避免了工作人员的依靠主观经验分类不符合工作人员的实际工作表现的情况发生。
-
-
-
-
-
-
-
-
-