一种大字段数据处理方法、装置、设备及存储介质

    公开(公告)号:CN113076326A

    公开(公告)日:2021-07-06

    申请号:CN202110321278.9

    申请日:2021-03-25

    发明人: 王攀 郭琰 韩朱忠

    IPC分类号: G06F16/23

    摘要: 本发明公开了一种大字段数据处理方法、装置、设备及存储介质。该方法包括:获取待插入数据;若所述待插入数据是大字段数据并且是行外数据,则获取所述待插入数据对应的大字段物理数据对象和所述大字段物理数据对象对应的列值数据对象;将所述列值数据对象插入数据库;根据所述大字段物理数据对象和所述大字段物理数据对象对应的列值数据对象对数据库中的数据进行更新、删除以及修改中任一种操作,通过本发明的技术方案,以实现能够提高插入大字段数据的效率,减少用户等待时间。

    数据库游标查询方法、装置、设备和存储介质

    公开(公告)号:CN111737295A

    公开(公告)日:2020-10-02

    申请号:CN202010529716.6

    申请日:2020-06-11

    发明人: 刘静 王攀 韩朱忠

    IPC分类号: G06F16/2455 G06F16/242

    摘要: 本发明公开了一种数据库游标查询方法、装置、设备和存储介质,其中,该方法包括:根据查询语句获取查询结果,并将缓存中的查询结果提前返回;根据返回的所述查询结果的缓存地址设置游标的游标结果集;根据所述游标读取所述查询结果。本发明实施例的技术方案实现了数据库内游标查询操作,减少游标等待获取查询结果的时间,提高了游标查询效率,减少了数据库内查询结果的存储空间。

    一种分布式数据库的管理系统、方法、设备和存储介质

    公开(公告)号:CN110502507A

    公开(公告)日:2019-11-26

    申请号:CN201910809045.6

    申请日:2019-08-29

    发明人: 王攀 韩朱忠 郭琰

    IPC分类号: G06F16/21 G06F16/27

    摘要: 本发明公开了一种分布式数据库的管理系统、方法、设备和存储介质。其中,该系统包括:数据库服务节点、日志节点以及存储节点,数据库服务节点上配置的数据库服务器根据目标数据的逻辑存储地址,生成对应的第一数据库日志发送给日志节点上配置的日志服务器;日志服务器根据目标数据的逻辑存储地址与物理存储地址之间的映射关系,将第一数据库日志转化为对应的第二数据库日志,并发送给目标数据所在的存储节点上配置的存储服务器;存储服务器重做第二数据库日志,得到目标数据的操作结果。本发明提供的技术方案,通过日志节点降低数据库服务与分布式存储之间的耦合性和复杂性,无需直接发送操作的数据,从而减少底层存储之间的网络通信负担。

    一种大字段数据的处理方法及装置

    公开(公告)号:CN106156302B

    公开(公告)日:2019-09-03

    申请号:CN201610506098.7

    申请日:2016-06-30

    发明人: 王攀 王家贤 梁扬

    IPC分类号: G06F16/21 G06F16/22

    摘要: 本发明公开了一种大字段数据的处理方法及装置,该方法包括:接收对大字段数据进行处理的处理指令,其中,所述大字段数据分片式存储于指定数据库表中;确定存储所述大字段数据的数据页形成的数据页链表,并根据所述处理指令在所述数据页链表中对所述大字段数据进行处理,其中,所述数据页链表中存在一个大字段控制页,所述大字段控制页中包含分片式存储所述大字段数据时形成的分片信息。利用该处理方法,能够基于分片式存储对应的定位手段快速定位待处理数据在数据页链表中的具体位置,与现有处理方法相比,很大程度减少了处理过程中对数据页遍历的遍历数量,由此降低大字段数据处理时的输入输出代价,从而提高了大字段数据处理的整体处理效率。

    数据重整的异常修复方法、装置、设备和存储介质

    公开(公告)号:CN109918231A

    公开(公告)日:2019-06-21

    申请号:CN201910149672.1

    申请日:2019-02-28

    发明人: 周智伟 王攀

    IPC分类号: G06F11/14

    摘要: 本发明实施例公开了一种数据重整的异常修复方法、装置、设备和存储介质,其中该方法包括:基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型;根据数据重整日志的类型确定对应的异常修复操作;对数据重整日志对应的列存储表执行异常修复操作。本发明实施例通过预先设置的不同的数据重整日志的类型可以确定不同的异常修复操作,并执行对应的异常修复,实现了对列存储表数据重整时数据库异常重启后的修复,保证了异常重启后列存储表数据的正确性。

    一种数据同步方法、装置、设备及存储介质

    公开(公告)号:CN109086382A

    公开(公告)日:2018-12-25

    申请号:CN201810827900.1

    申请日:2018-07-25

    发明人: 周智伟 王攀

    IPC分类号: G06F17/30

    摘要: 本发明实施例公开了一种数据同步方法、装置、设备及存储介质,其中,该方法包括:获取对行表的增量操作;通过辅助表记录所述增量操作的信息;其中,所述增量操作的信息包括所述增量操作的类型以及所述增量操作对应的行表的行号,或者包括所述增量操作的类型以及所述增量操作对应的行表的行号和列号;根据所述增量操作信息确定所述行表中的增量数据,并将所述增量数据同步到列表中。本发明实施例可以提高数据同步的效率。

    基于列存储的数据插入方法、装置、服务器及存储介质

    公开(公告)号:CN109033271A

    公开(公告)日:2018-12-18

    申请号:CN201810749909.5

    申请日:2018-07-10

    发明人: 郭琰 王攀 周智伟

    IPC分类号: G06F17/30

    摘要: 本发明公开了基于列存储的数据插入方法、装置、服务器及存储介质,涉及数据库领域,该方法包括:获取列存储表的待插入数据;获取列存储表对应的插入辅助表中的数据;若待插入数据和插入辅助表中的数据总行数小于预设行数,则将待插入数据插入到插入辅助表中;若待插入数据和插入辅助表中的数据的总行数大于或等于预设行数,则将插入辅助表中的数据和待插入数据按照预设行数将每一列存储为一个或多个数据区,并清空插入辅助表,将剩余的数据存储到插入辅助表中;将一个或多个数据区保存为列存储表的数据文件,将获取的每个数据区的控制信息和统计信息,插入到列存储表对应的列存储辅助表中。本发明采用上述技术方案,提高了列存储表的数据插入效率。

    基于列存储的数据更新方法、装置、服务器及存储介质

    公开(公告)号:CN108959587A

    公开(公告)日:2018-12-07

    申请号:CN201810750473.1

    申请日:2018-07-10

    发明人: 郭琰 王攀 周智伟

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种基于列存储的数据更新方法、装置、服务器及存储介质,涉及数据库领域,该方法包括:获取列存储表的待更新数据,所述待更新数据包括待更新的行号、列号及更新后的值;将所述行号、列号及更新后的值插入到所述列存储表对应的更新辅助表中;根据所述行号和所述列号,确定所述待更新数据在所述列存储表中对应的数据区;根据所述数据区的数据和所述待更新数据,重新计算所述数据区的统计信息,并修改所述列存储表对应的列存储辅助表中与所述统计信息对应的记录。本发明采用上述技术方案,提高了基于列存储的数据的更新效率。

    一种大字段数据处理方法、装置、设备及存储介质

    公开(公告)号:CN113076326B

    公开(公告)日:2024-05-31

    申请号:CN202110321278.9

    申请日:2021-03-25

    发明人: 王攀 郭琰 韩朱忠

    IPC分类号: G06F16/23

    摘要: 本发明公开了一种大字段数据处理方法、装置、设备及存储介质。该方法包括:获取待插入数据;若所述待插入数据是大字段数据并且是行外数据,则获取所述待插入数据对应的大字段物理数据对象和所述大字段物理数据对象对应的列值数据对象;将所述列值数据对象插入数据库;根据所述大字段物理数据对象和所述大字段物理数据对象对应的列值数据对象对数据库中的数据进行更新、删除以及修改中任一种操作,通过本发明的技术方案,以实现能够提高插入大字段数据的效率,减少用户等待时间。

    一种数据同步方法、系统、节点及存储介质

    公开(公告)号:CN112084261B

    公开(公告)日:2024-05-10

    申请号:CN202010917485.6

    申请日:2020-09-03

    发明人: 王攀 韩朱忠 郭琰

    摘要: 本发明公开了一种数据同步方法、系统、节点及存储介质,具体为日志节点将获取的原始日志转化为物理日志;日志节点更新自身存储的数据同步控制信息数组,其中,日志节点存储有三个数据同步控制信息数组,该三个数据同步控制信息数组包括第一数据同步控制信息数组、第二数据同步控制信息数组、第三数据同步控制信息数组;在满足预设条件的情况下,日志节点向存储节点发送携带有物理日志和更新后的数据同步控制信息数组的控制消息;日志节点接收存储节点发送的反馈消息,并根据反馈消息更新数据同步控制信息数组;其中,反馈消息是存储节点根据控制消息对自身存储的数据同步后发送的。