一种针对大容量Excel文件数据的抽取方法及系统

    公开(公告)号:CN115774745A

    公开(公告)日:2023-03-10

    申请号:CN202111043514.1

    申请日:2021-09-07

    Abstract: 本发明提供一种针对大容量Excel文件数据的抽取方法及系统,包括:获取待抽取的Excel文件及对应的磁盘地址;分别根据所述待抽取的Excel文件以及对应的磁盘地址构建Excel实体对象及数据库中用于存储读取到的Excel数据的数据表;利用EasyExcel逐条读取Excel实体对象中的数据并记录至内存,将内存中的数据通过基于MySQL JDBC的持久化函数持久化至数据库中,得到抽取后的Excel文件数据;其中,所述Excel实体对象包括Excel文件中需要抽取的数据。本发明利用EasyExcel和基于MySQL JDBC的持久化方法降低了大容量Excel文件数据写入数据库时占用的内存,提高了数据读取的效率及写入数据库的速度。

    一种数据处理方法、装置、设备和存储介质

    公开(公告)号:CN114020919A

    公开(公告)日:2022-02-08

    申请号:CN202111395009.3

    申请日:2021-11-23

    Abstract: 本发明公开了一种数据处理方法、装置、设备和存储介质。该方法包括:对预先构建的训练样本集中的所有训练样本进行无监督自动聚类,得到至少两个类别的训练样本子集;基于预先创建的错误样本修正模型,自动对每个所述训练样本子集中的所有错误样本进行在线修正标注,得到对应的修正样本。本实施例通过对预先创建的训练样本集中的所有训练样本进行无监督自动聚类,得到至少两个类别的训练样本子集,并基于预先创建的错误样本修正模型,自动对每个训练样本子集中的所有错误样本进行在线修正和标注,得到对应的修正样本,实现了在线自动修正和标注错误样本的效果,从而提高了错误样本的修正效率。

    基于自然语言的结构化查询语言语句获取方法及装置

    公开(公告)号:CN113495900A

    公开(公告)日:2021-10-12

    申请号:CN202110933193.6

    申请日:2021-08-12

    Abstract: 本发明实施例公开了基于自然语言的结构化查询语言语句获取方法、装置、电子设备及存储介质,该方法包括:获取自然语言下的查询文本,并确定查询文本的查询类别;获取查询文本中的命名实体,并确定命名实体的实体类别;根据查询文本的查询类别,以及命名实体的实体类别,对槽位信息模板中的槽位信息项进行填充,以获取第一填充结果;根据第一填充结果,以及结构化查询语言查询模板,获取结构化查询语言查询语句。本发明实施例提供的技术方案,实现了基于自然语言构建SQL查询语句,提升了用户对SQL数据库的访问便利性,提高了SQL查询语句的转换精度。

    一种数据管理方法、系统、设备及存储介质

    公开(公告)号:CN119621724A

    公开(公告)日:2025-03-14

    申请号:CN202411724929.9

    申请日:2024-11-28

    Abstract: 本发明公开了一种数据管理方法、系统、设备及存储介质。通过展示数据管理系统中的数据操作界面,数据操作页面中包括至少一个数据操作项,数据操作项中包括数据共享操作项;响应于对数据申请控件的触发,展示数据申请编辑表单,数据申请控件包含在数据共享操作项对应的操作页面中;响应于对数据申请编辑表单中提交控件的触发,生成数据申请请求,并通过数据共享通道将数据申请请求提交至数据中台,以使数据中台开通数据申请请求所对应数据内容的访问权限。该方法通过调用数据中台授权应用程序编程接口对所述数据申请请求进行自动授权,提高了数据共享的效率,满足了大规模数据授权的需要,同时提升了管理申请数据的水平,并且降低了管理成本。

    一种数据分类方法
    10.
    发明公开

    公开(公告)号:CN112307227A

    公开(公告)日:2021-02-02

    申请号:CN202011326744.4

    申请日:2020-11-24

    Abstract: 本发明公开了一种数据分类方法,包括:获取待分类的原始媒体数据,对原始媒体数据进行预处理得到各时刻的节点特征矩阵;根据各节点特征矩阵,计算各时刻的第一目标权重值;根据各节点特征矩阵以及第一目标权重值,计算各时刻的媒体特征向量,根据各时刻的媒体特征向量,对原始媒体数据进行分类。本发明实施例的技术方案可以减少对数据分类的耗时,提高数据的分类效率。

Patent Agency Ranking