-
公开(公告)号:CN117873461A
公开(公告)日:2024-04-12
申请号:CN202311633679.3
申请日:2023-12-01
Applicant: 美林数据技术股份有限公司
Abstract: 本申请属于机器学习技术领域,尤其涉及一种多语言Pipeline轻量模型构建方法,步骤一、Python通用算法模型的开发:设计python和scala,java语言之间离线批量数据传输结构;基于Spark、Mleap框架开发python算子,实现spark Dataframe在scala和python语言之间数据传输;步骤二、ML Pipeline模型训练流程搭建:基于业务场景,选择算子搭建机器学习流水线模型,调用模型的序列化方法,生成最终的MLeap Bundle模型。步骤三、基于MLeap Runtime的实时预测服务搭建:搭建mleap runtime运行池环境,将Spark MLlib模型序列化成MLeap格式,部署一个预测服务,加载序列化的模型并处理实际的预测请求。该方法使用Python和Scala,Java三种不同的语言以及相关的机器学习库和框架混合建模,提出了端到端的多语言机器学习pipeline,从而充分发挥它们各自的优势。
-
公开(公告)号:CN117235248A
公开(公告)日:2023-12-15
申请号:CN202311214755.7
申请日:2023-09-20
Applicant: 美林数据技术股份有限公司
IPC: G06F16/338 , G06F16/33 , G06F40/117 , G06F40/205 , G06F40/279 , G06N5/04
Abstract: 本发明公开一种基于自然语言大模型的数据可视化分析方法,包括以下步骤,将数据通过元数据标注转换为业务模型。将标注的元数据转化为向量形式,并进行存储;使用自然语言进行数据探索和分析,并结合大模型推理技术实现意图识别;从向量库中提取与分析相关的元数据信息;将分析意图与关联元数据结合利用提词工程技术生成SQL/DSL语言;利用分析引擎执行生成的SQL/DSL语言,获取数据并进行分析;根据用户需求和数据类型,选择适合的数据可视化方式,将处理后的数据进行直观、灵活和高效的可视化展示。本发明主要应用于数据可视化领域,能够帮助用户通过自然语言大模型的方式更好的分析和理解数据,快速实现数据的可视化查询和分析。
-
公开(公告)号:CN112256698B
公开(公告)日:2023-09-05
申请号:CN202011109507.2
申请日:2020-10-16
Applicant: 美林数据技术股份有限公司
Abstract: 本发明公开了一种基于多哈希函数的表关系自动关联方法,包括以下步骤:步骤一、获取现有的源端数据库,并根据源端数据库的连接配置,获取待发现关联关系的所有数据表;步骤二,对每一张数据表,首先获取数据表的主键,然后针对主键数据初始化一个二进制对象,并利用构造的哈希函数将源端数据库的原始数据进行映射,计算后的二进制向量与该主键序列一一对应;步骤三,根据主外键之间的引用规则,基于主键的二进制向量,对可能与主键发生关联关系的字段进行核查,核查通过则记录本条关系。解决现有数据库表中关联关系不全、数据质量不高、人工核查费时费力等问题。
-
公开(公告)号:CN115758302A
公开(公告)日:2023-03-07
申请号:CN202211570574.3
申请日:2022-12-08
Applicant: 美林数据技术股份有限公司
IPC: G06F21/31 , G06F16/22 , G06F16/242 , G06F16/26
Abstract: 本发明属于预警技术领域,具体公开了具有身份识别功能的预警方法,包括以下步骤:用户将需要预警的业务数据接入与预警平台中,预警平台通过数据模型引擎自动获取元数据信息并存储;所述元数据信息包括若干个用户,以及每个用户可获取和/或接收预警数据的权限;用户根据任务调度引擎设定任务执行策略以及任务启动周期;任务执行策略执行任务时,当任务执行策略与预警规则匹配时,触动预警模块,预警模块匹配出预警发送对应的用户,并将预警信息通过可视化图形的展示方式,发送给对应的用户。本发明通过所见即所得的自动化预警配置和触发机制,解决企业中业务问题无法实时被员工获取的问题。
-
公开(公告)号:CN114039767A
公开(公告)日:2022-02-11
申请号:CN202111306889.2
申请日:2021-11-05
Applicant: 美林数据技术股份有限公司
Abstract: 本发明公开了一种基于隐私计算的税电联合分析方法,包括:数据加密:根据双方商定的协议内容选择相应的加密方式,并生成密钥对;数据对齐:通过加密后的数据ID进行匹配获得匹配结果;联合分析业务计算:根据双方商议好的协议内容进行密文上的联合分析计算,并得出结果;数据解密:通过使用密钥对对联合分析结果进行解密;联合分析结果展示:通过使用其他数据可视化工具进行数据可视化展示。本发明实用性与泛化性强,通过变换不同的业务规则可以实现多维度下隐私计算,在保证了双方的数据安全情况下,实现了联合数据分析,解决业务需求。
-
公开(公告)号:CN111859286A
公开(公告)日:2020-10-30
申请号:CN202010536579.9
申请日:2020-06-12
Applicant: 美林数据技术股份有限公司
Abstract: 本发明公开了一种疫情影响下售电量精准预测方法,包括:构造算法一,由自回归模型拟合售电量曲线,并利用LightGBM集成学习算法预测售电量;构造算法二,利用X13季节分解算法分解售电量曲线处理,以得到预测后的售电量曲线;对算法一的结果以及算法二的结果进行优化估计,得到正常情况下模型最优预测结果。构造算法三,利用均值法得到疫情持续期间的每天影响电量;构造算法四,利用Logistic生长曲线分别预测疫情病例人数和疫情影响时长,并利用综合评价熵权法计算得到每天疫情影响权重;利用算法三和算法四的结果,加权计算每天的疫情影响电量,进而计算整个疫情影响期间的影响电量总量。利用疫情影响的电量计算结果进行修正,得到最终的售电量精准预测结果。
-
公开(公告)号:CN111061767A
公开(公告)日:2020-04-24
申请号:CN201911254622.6
申请日:2019-12-10
Applicant: 美林数据技术股份有限公司
IPC: G06F16/2455 , G06Q30/02
Abstract: 本发明提供了一种基于内存计算与SQL计算的数据处理方法,包括:重构分析表达式语义体系,以跨颗粒度表达式建立数据库的内部核心语法规则,和跨颗粒度表达式返回的对象建立外层语法规则;以及重构分析表达式计算框架,包括计算逻辑生成器以及计算执行器,所述计算逻辑生成器将根据输入的语义模型和元数据模型的模型信息,识别计算逻辑,并根据所述计算逻辑构建DAG流;所述计算执行器接受DAG流与多个计算模型,生成计算任务,提交发布执行。效提升BI在业务计算方面的灵活度,无需受限于数据仓库,无需提前预计算,或者抽取数据建立数据中心,仅借助SQL与内存计算机制即可实现复杂的业务计算。
-
公开(公告)号:CN109300483A
公开(公告)日:2019-02-01
申请号:CN201811071307.5
申请日:2018-09-14
Applicant: 美林数据技术股份有限公司
IPC: G10L21/0208 , G10L21/0272 , G10L25/24 , G10L25/27 , G10L25/60 , G10L25/87
Abstract: 本发明公开了一种智能化音频异音检测方法,其特征在于,包括以下步骤:步骤一、WAV格式转换:将待分析音频文件使用WAV文件标准进行整理,以转换为标准的WAV格式文件;步骤二、分割音频数据,提取有效的音频数据;步骤三、对音频数据的结构化数据的提取:步骤四、分割音频数据,使用机器学习中有监督学习算法提取出混合状态下静音房内的音频数据,步骤五、VAD动态提取有效音频数据:步骤六、机器学习检测音频数据的异音:机器学习算法用来完成对步骤五中最后的音频数据的分析建模,并检测音频数据中是否有异音,并返回检测结果。解决了传统的基于噪音分贝人工检测存在易疲劳易误判的问题。
-
公开(公告)号:CN109270372A
公开(公告)日:2019-01-25
申请号:CN201811071441.5
申请日:2018-09-14
Applicant: 美林数据技术股份有限公司
Abstract: 本发明公开一种基于线损和用户用电量变化关系的窃电识别系统及方法,系统包括:台区电力数据获取模块,收集所有台区的电力数据;筛选模块,结合所述台区电力数据获取模块的电力数据进行分析,以筛选并定位出线损超出正常值的潜在台区;用户电力数据获取模块,其收集所有用户的电力数据;用电量异动监测模块,根据所有用户的电力数据,并分析出用一用户的不同时间段的用电量变化,并筛选出用电量变化大的潜在用户;处理模块,将所述筛选模块筛选并定位出线损率超出正常值的台区,以及所述用电量异动监测模块筛选出用电量变化大的潜在客户进行整合,用于判别潜在用户是否疑似窃电用户,本发明能快速识别疑似窃电用户,为用电稽查工作提供依据。
-
公开(公告)号:CN107958395A
公开(公告)日:2018-04-24
申请号:CN201711332503.9
申请日:2017-12-13
Applicant: 美林数据技术股份有限公司
CPC classification number: G06Q30/0201 , G06F17/30241 , G06Q30/0203 , G06Q50/06
Abstract: 本发明公开了一种电力系统异常用户的识别方法,其特征在于,包括以下步骤:欧式距离的获取;用户地址与台区地址特征词相似度的获取;用户历史用电负荷的余弦距离;用户异常概率的计算和用户异常的识别。本发明通过简单的步骤,实现了通过地理位置信息数据、地址名称以及用电负荷识别是否为异常用户,提高了电力系统的工作效率。
-
-
-
-
-
-
-
-
-