数据加载方法、装置、电子设备及存储介质

    公开(公告)号:CN119440670B

    公开(公告)日:2025-05-06

    申请号:CN202510038928.7

    申请日:2025-01-10

    Inventor: 陈文亭

    Abstract: 本发明提供了一种数据加载方法、装置、电子设备及存储介质,可以应用于电数字数据处理领域。该方法包括:基于数据块占用空间参数,利用读取线程读取数据文件,生成初始数据块;对初始数据块进行处理,生成目标数据块,目标数据块表征标记有解析终止位置的数据块,目标数据块存储于阻塞式数据块队列;基于解析终止位置,利用解析线程对目标数据块进行解析,生成至少一个初始行数据,解析线程与读取线程并行,初始行数据表征标记有列位置的数据,至少一个初始行数据存储于阻塞式数据行队列;基于列位置,对阻塞式数据行队列中至少一个初始行数据进行列数据赋值处理,得到目标行数据;利用数据操作语言将目标行数据批量加载到目标数据库中。

    基于分布式数据库的数据同步方法、装置及电子设备

    公开(公告)号:CN119474220A

    公开(公告)日:2025-02-18

    申请号:CN202510038936.1

    申请日:2025-01-10

    Inventor: 陈文亭

    Abstract: 本发明提供了一种基于分布式数据库的数据同步方法、装置及电子设备,可以应用于电数字数据处理领域。该方法包括:响应于批事务处理请求,从批事务操作号队列中读取当前待处理批量事务对应的目标批事务操作号;确定与L个源数据节点各自对应的变化数据队列;从L个变化数据队列中筛选事务操作号小于目标批事务操作号的N个目标数据更新记录,N个目标数据更新记录与M个源数据表关联;基于流式归并算法,利用M个归并线程并行对M个源数据表各自关联的目标数据更新记录进行归并处理,得到与M个源数据表对应的M个数据归并哈希表;利用M个加载线程并行地将M个源数据表的归并数据同步至目标数据库中。

    高可用数据库日志接收队列、同步方法及装置

    公开(公告)号:CN112612855B

    公开(公告)日:2023-01-24

    申请号:CN202011607632.6

    申请日:2020-12-29

    Abstract: 本发明提供了一种高可用数据库日志同步方法,包括:从节点创建至少一个recv_thread线程进行日志块数据的处理和接收,所述日志块数据是由主节点将日志流数据切分而成的日志块数据,每个日志块数据包括日志首部信息和日志数据;每当recv_thread线程接收到一个日志块数据时,先从日志块数据中提取首部信息,根据首部信息将该日志块数据放置接收队列中;所述日志接收队列为一个指针数组,数组中的每个成员为一个结构指针,每个结构指针指向一个结构head,结构head中有两个链表,分别为顺序链表和失序链表,链表中的每个节点是一个日志块数据。本发明能够有效提高集群中从节点对日志的接收和处理速度,降低主从节点日志同步延迟,提高数据库集群高可用性。

    一种基于数据库执行select语句的动态可信判定方法

    公开(公告)号:CN112613301A

    公开(公告)日:2021-04-06

    申请号:CN202011639318.6

    申请日:2020-12-31

    Abstract: 本发明提供了一种基于数据库执行select语句的动态可信判定方法,S1、管理员在可信数据库中设定可信的查询语句关键字模版,通过加密算法计算可信度量值并存储在可信计算基中;S2、数据库运行在可信环境中时,用户使用select语句进行查询,通过语法分析器和编译器进行验证,生成语法分析树,抽取查询语句中的关键字合并成字符串,然后对字符串进行加密运算得到可信度量值;S3、将S2中的可信度量值与可信计算基中的可信度量值进行对比,得到可信报告。本发明所述的基于数据库执行select语句的动态可信判定方法利用用动态可信进行实时监测,可以根据时间等动态信息进行区分不同时间用户对数据库操作的权限。

    基于LDAPV3协议的快速统计目录子树条目数的方法

    公开(公告)号:CN104243552B

    公开(公告)日:2017-09-15

    申请号:CN201410409584.8

    申请日:2014-08-19

    Abstract: 本发明提供一种基于LDAPV3协议的快速统计目录子树条目数的方法,包括如下步骤:目录服务方在目录添加或删除条目时,在条目DN的索引文件中记录或更新条目所在子树的一级子条目数和所有子条目数;目录客户方向目录服务方发出符合LDAPV3协议的目录子树条目数统计的扩展操作请求;目录服务方从条目DN的索引文件中获取该子树的条目数,并通过扩展操作的应答操作返回给目录客户方;以及目录客户方解析出目录子树的条目数。本发明具有的积极效果是:避免了服务方通过去遍历子树来得到子树条目数的方式,大幅加快了子树条目数统计的速度,避免了服务方因统计条目数导致的服务性能下降;并且避免搜索操作由于返回条目数限制而造成无法返回结果的问题。

    支持分布式数据库的分布锁方法以及分布式数据库系统

    公开(公告)号:CN104239418A

    公开(公告)日:2014-12-24

    申请号:CN201410409583.3

    申请日:2014-08-19

    CPC classification number: G06F17/30575

    Abstract: 本发明提供一种支持分布式数据库的分布锁方法,包括将分布式数据库所需要的锁资源作为一个整体形成虚拟分布式锁管理器,虚拟分布式锁管理器在分布式数据库的每个节点内设置本地映像,并使所有本地映像保持同步;虚拟分布式锁管理器的任一节点的本地映像收到应用系统的请求后,确定与该请求对应的分布式锁对象,并同步到所有其他节点的分布式锁管理器本地映像上;分布式数据库的节点通过虚拟分布式锁管理器的本地映像,来进行数据库的资源锁定操作。本发明的优点是:能够提供给分布式数据库一种事务资源独占方式,避免资源在分布系统下的访问冲突;同时,也能够保障在高可用性和高性能的前提下,资源在分布式数据系统的一致性。

Patent Agency Ranking