-
公开(公告)号:CN117873461A
公开(公告)日:2024-04-12
申请号:CN202311633679.3
申请日:2023-12-01
Applicant: 美林数据技术股份有限公司
Abstract: 本申请属于机器学习技术领域,尤其涉及一种多语言Pipeline轻量模型构建方法,步骤一、Python通用算法模型的开发:设计python和scala,java语言之间离线批量数据传输结构;基于Spark、Mleap框架开发python算子,实现spark Dataframe在scala和python语言之间数据传输;步骤二、ML Pipeline模型训练流程搭建:基于业务场景,选择算子搭建机器学习流水线模型,调用模型的序列化方法,生成最终的MLeap Bundle模型。步骤三、基于MLeap Runtime的实时预测服务搭建:搭建mleap runtime运行池环境,将Spark MLlib模型序列化成MLeap格式,部署一个预测服务,加载序列化的模型并处理实际的预测请求。该方法使用Python和Scala,Java三种不同的语言以及相关的机器学习库和框架混合建模,提出了端到端的多语言机器学习pipeline,从而充分发挥它们各自的优势。
-
公开(公告)号:CN117235248A
公开(公告)日:2023-12-15
申请号:CN202311214755.7
申请日:2023-09-20
Applicant: 美林数据技术股份有限公司
IPC: G06F16/338 , G06F16/33 , G06F40/117 , G06F40/205 , G06F40/279 , G06N5/04
Abstract: 本发明公开一种基于自然语言大模型的数据可视化分析方法,包括以下步骤,将数据通过元数据标注转换为业务模型。将标注的元数据转化为向量形式,并进行存储;使用自然语言进行数据探索和分析,并结合大模型推理技术实现意图识别;从向量库中提取与分析相关的元数据信息;将分析意图与关联元数据结合利用提词工程技术生成SQL/DSL语言;利用分析引擎执行生成的SQL/DSL语言,获取数据并进行分析;根据用户需求和数据类型,选择适合的数据可视化方式,将处理后的数据进行直观、灵活和高效的可视化展示。本发明主要应用于数据可视化领域,能够帮助用户通过自然语言大模型的方式更好的分析和理解数据,快速实现数据的可视化查询和分析。
-
公开(公告)号:CN117009428A
公开(公告)日:2023-11-07
申请号:CN202311003483.6
申请日:2023-08-09
Applicant: 美林数据技术股份有限公司
IPC: G06F16/26 , G06F16/25 , G06F40/289 , G06F40/216 , G06F18/22 , G06N3/0455
Abstract: 本发明公开了一种高效率智能化数据探查方法,涉及数据探查技术领域,包括:构造统一数据源管理、探查数据的生成、探查数据自检、参数配置以及范围探查、探查数据的分析及统计、探查数据标签识别以及数据的反馈展示。该高效率智能化数据探查方法,在进行数据探查的时候,通过采用统一的数据源接口可以实现不同类型数据库中的快速数据探查,满足市面上绝大多数数据库类型,并且在进行数据探查的时候,还可以通过对探查数据的分析及统计,得到数据更加详细的信息,便于更直观的了解数据,同时在对数据进行探查的时候,利用Python的特点,并与数据库相结合,从而可以使得数据探查更加快速便捷,同时还提高了准确性。
-
公开(公告)号:CN117891468A
公开(公告)日:2024-04-16
申请号:CN202410060534.7
申请日:2024-01-16
Applicant: 美林数据技术股份有限公司
Abstract: 本发明公开一种基于微服务应用的轻量化容器部署方法及计算机设备,属于微服务部署技术领域,本发明包括如下步骤:(1)构建微服务应用基础镜像;(2)上传微服务应用程序文件至服务器;(3)基于微服务应用基础镜像创建微服务应用容器;(4)启动微服务应用容器时,从步骤(2)中上传的微服务应用程序文件中读取指定的微服务应用程序文件,并启动相应的微服务应用,通过本发明有效的解决现有微服务应用容器化部署时往往因为不同微服务应用而需要重复构建镜像,从而导致的升级效率低的问题。
-
公开(公告)号:CN117873450A
公开(公告)日:2024-04-12
申请号:CN202410063816.2
申请日:2024-01-16
Applicant: 美林数据技术股份有限公司
IPC: G06F8/30 , G06F8/35 , G06F8/38 , G06F40/205 , G06F40/58
Abstract: 本发明公开一种基于大模型的前端代码设计装置及方法,属于大模型技术领域,本发明包括自然语言生成模块,还包括大模型模块以及第二翻译模块;大模型模块至少包括用于将自然语言生成模块生成的自然语言解析为具有领域模型语言的第一翻译模块,第二翻译模块用于将第一翻译模块得到的具有领域模型语言翻译为前端可展示的代码文件,通过使用专用的领域模型语言结合大模型技术有效的解决了自然语言到计算机代码精确度不高的问题,并大大降低了对用户的专业性要求。
-
公开(公告)号:CN117077032A
公开(公告)日:2023-11-17
申请号:CN202310999865.2
申请日:2023-08-09
Applicant: 美林数据技术股份有限公司
IPC: G06F18/243 , G06F18/214 , G06F16/36 , G06F16/35 , G06N3/0455 , G06N3/042 , G06N5/022
Abstract: 本发明公开了一种基于机器学习及知识图谱的表关系识别方法,包括以下步骤:S1、选出关联字段特征,S2、选取训练集,S3、建立模型,S4、确定分类结果,S5、构建图谱。该基于机器学习及知识图谱的表关系识别方法,通过将字段类型分为数值型、字符型、时间日期型和其他类型,处理完成后得到训练集样本,将样本划分为两类:主键和其他,最后基于随机森林模型对样本进行训练得到主外键识别模型,对识别出的主键,simBERT提取关系序列模式,不断优化获得各表关联关系,利用机器学习模型可以基于表字段特征自动识别各表中最疑似的主键,从而减少了人工参与评判不合理对识别结果的影响。
-
公开(公告)号:CN117851555A
公开(公告)日:2024-04-09
申请号:CN202311634118.5
申请日:2023-12-01
Applicant: 美林数据技术股份有限公司
IPC: G06F16/332 , G06F16/33
Abstract: 本申请属于数据分析技术领域,尤其涉及一种基于大语言模型多模态的数据分析方法,整理、收集数据分析自然语言样本数据,对LLM预训练模型进行样本数据训练、参数微调;整理、收集SQL、Cypher、Python脚本指令样本数据,对LLM预训练模型分别进行样本数据训练、参数微调;构建一个执行脚本指令的引擎工具,通过运行得到的脚本指令而获取脚本指令的数据分析结果;构建一个数据分析代理服务,用于接收数据分析自然语言,用于调用意图识别模型进行意图识别,用于调用相应脚本指令生成模型进行指令生成,用于调用脚本指令执行引擎进行脚本指令执行及获取分析数据。本申请降低了数据分析的门槛,提高了数据分析效率,节省了人工成本。
-
公开(公告)号:CN116909535A
公开(公告)日:2023-10-20
申请号:CN202310929905.6
申请日:2023-07-27
Applicant: 美林数据技术股份有限公司
IPC: G06F8/33 , G06F16/17 , G06F16/172 , G06F16/16
Abstract: 本发明公开一种基于OpenFaas架构的模型计算托管系统,包括有:镜像管理模块,提供镜像上传、在线编辑器、镜像维护功能,镜像管理模块为模型管理模块提供基础运行环境,在线编辑器为模型管理模块的在线编码功能提供支持;模型管理模块,提供模型维护、版本维护、在线编码功能,模型管理模块用于模型的开发,为触发器管理模块提供模型;触发器管理模块,触发器管理模块结合OpenFaas服务,提供触发器维护、监控功能,触发器管理模块用于创建模型对外提供的服务。本发明通过对Openfaas平台的扩展,以无服务器的方式快速构建模型,实现对AI模型的统一管理、部署和运维,有效的解决了企业中存在的模型分散管理难、异构模型部署难、模型统一运维难等一系列痛点问题。
-
公开(公告)号:CN118551734A
公开(公告)日:2024-08-27
申请号:CN202411002769.7
申请日:2024-07-25
Applicant: 美林数据技术股份有限公司
IPC: G06F40/154 , G06V30/412 , G06V30/414 , G06F16/31
Abstract: 本申请公开了一种面向大模型知识问答的文档树自动生成方法及装置,所述方法包括:获取文档待解析页的页面图像;分析页面图像版面,获得各区域的文档元素的类别与位置信息;获得正文信息、标题信息、页眉信息与页脚信息,并对应存储于各文档元素的信息集合;获得单元格列表;将各文档元素的信息集合存储于文档内容列表,将标题信息存储于标题列表;对标题列表中的标题信息进行层级解析,获得每个标题的层级信息并存储至标题层级列表;对同一层级的所有标题进行排序;建立两个标题的父子节点关系;设置节点属性中正文的文字信息。本申请提供的技术方案避免了解析结果中文档元素的缺失,将标题按照文档树的形式建立联系,有利于文档内容的检索。
-
公开(公告)号:CN118170955B
公开(公告)日:2024-08-02
申请号:CN202410582382.7
申请日:2024-05-11
Applicant: 美林数据技术股份有限公司
IPC: G06F16/9032 , G06F16/9038 , G06N5/04 , G06Q30/02
Abstract: 本申请公开了一种营销业务支持方法、系统、电子设备及存储介质,该方法包括:解析每篇文档中的文本块,提取出文本块中的原始图片并存储;将文本块中的原始图片替换为图片编码;基于每篇文档解析后的解析结果,构建专业知识库;获取用户输入的第一提问信息;基于第一提问信息和专业知识库,确定第一预设数量的参考段落;将每个参考段落中的图片编码移除;基于已移除图片编码的第一预设数量的参考段落,生成与第一提问信息对应的文字结果;将文字结果中提到的图片名称替换为对应的原始图片。本申请实施例提供的方法能够针对用户的提问生成图文混合的输出结果,增强了信息的直观性和易理解性,为用户提供了更为丰富和友好的交互体验。
-
-
-
-
-
-
-
-
-