一种数据处理方法、装置及电子设备

    公开(公告)号:CN118897827A

    公开(公告)日:2024-11-05

    申请号:CN202410943110.5

    申请日:2024-07-15

    发明人: 章誉襦

    摘要: 本公开提出的数据处理方法、装置及电子设备中,包括:获取用户上传的至少一个文件和在前端页面配置的各文件对应的配置信息;基于各文件的优先级分数确定满足存储条件的第一文件集;基于第一文件集中各第一文件的配置信息,确定满足数据处理条件的第二文件集;在数据处理环境中,通过自然语言分词处理模型对第二文件集中各第二文件进行数据处理,得到各第二文件对应的结构化数据文件;基于各第二文件的结构化数据文件和配置信息,生成各第二文件的映射配置文件,并基于映射配置文件完成各第二文件的数据存储。本公开自动生成第二文件对应的结构化数据文件,降低了人工成本,提高了效率,保证了映射关系的准确性,避免了映射关系出现错误的情况。

    数据库集群数据校验方法、装置、存储介质及电子设备

    公开(公告)号:CN115328931A

    公开(公告)日:2022-11-11

    申请号:CN202211043633.1

    申请日:2022-08-29

    发明人: 章誉襦

    摘要: 本申请涉及计算机技术领域,提供一种数据库集群数据校验方法、装置、存储介质及电子设备。所述方法包括:根据待写入数据库集群的数据生成含有key‑value键值对的校验信息;在确定数据库集群写入数据成功的情况下获取所述校验信息;根据所述校验信息中的key值查询写入数据库集群的数据,根据写入数据库集群的数据计算写入数据库集群的数据的散列值;将写入数据库集群的数据的散列值与所述校验信息中的value值进行比较,根据比较结果确定写入数据库集群的数据是否完整。本申请基于集群数据的key‑value值和散列值进行数据完整性校验,相较于传统的集群参数配置方式,可以更加彻底地解决数据丢失的问题。