一种保证事务一致性和线性一致性的分布式系统和方法

    公开(公告)号:CN109977171B

    公开(公告)日:2023-04-28

    申请号:CN201910247559.7

    申请日:2019-03-29

    IPC分类号: G06F16/27 G06F16/23 G06F9/46

    摘要: 本发明涉及一种保证事务一致性和线性一致性的分布式系统和方法,其包括多个客户端以及由接入层、元信息管理集群、全局Gts生成集群和事务处理及存储层构成的数据库服务端;客户端用于为用户提供与数据库服务端进行交互的接口,将用户请求发送到数据库服务端;接入层用于接收客户端发送的请求,并解析生成执行计划;元信息管理集群用于分布式集群的管理;全局Gts生成集群,用于生成全局时间戳,对分布式系统中的全局事务进行唯一排序以实现线性一致性;事务处理及存储层包括多个资源管理节点,用于根据接入层发送的执行计划执行事务逻辑,得到的结果经接入层返回客户端。本发明可以广泛应用于数据处理领域。

    事务处理方法、装置、计算机设备及存储介质

    公开(公告)号:CN111597015A

    公开(公告)日:2020-08-28

    申请号:CN202010343305.8

    申请日:2020-04-27

    IPC分类号: G06F9/46 G06F16/27

    摘要: 本申请公开了一种事务处理方法、装置、计算机设备及存储介质,属于数据库技术领域。本申请通过响应于目标事务的执行请求,获取目标事务的逻辑执行生命周期,在对该逻辑执行生命周期校验通过之后,执行目标事务,在事务执行或者验证阶段中,根据目标事务的读集中的目标数据项以及写集中的待写入数据项,对逻辑执行生命周期进行调整,在对调整后的逻辑执行生命周期校验通过之后,提交目标事务,这种基于逻辑执行生命周期来处理事务的机制,无需依赖于锁机制,因此更加适用于读多写少的互联网应用场景,有利于提升分布式数据库系统的事务吞吐量,有利于对系统进行扩容,能够提升系统的事务处理性能。

    网页信息处理方法及装置

    公开(公告)号:CN104794237B

    公开(公告)日:2018-04-27

    申请号:CN201510229707.4

    申请日:2015-05-07

    IPC分类号: G06F17/30

    摘要: 本发明提供一种网页信息处理方法及装置,所述方法包括:获取待检索网页的时间间隔信息;根据所述待检索网页的时间间隔信息将所述待检索网页的集合划分为多个区域,通过线段树结构将所述时间间隔信息构成的时间间隔集合划分成至少两个单元时间间隔;基于所述单元时间间隔为每个区域添加倒排线段树索引;根据查询时间间隔以及每个区域的倒排线段树索引分别对每个区域内的待检索网页进行检索,确定与所述查询时间间隔关联的第一候选网页;从所述第一候选网页中确定包含查询关键字的第二候选网页;输出所述第二候选网页。

    检索方法
    6.
    发明公开

    公开(公告)号:CN104794238A

    公开(公告)日:2015-07-22

    申请号:CN201510229773.1

    申请日:2015-05-07

    IPC分类号: G06F17/30

    摘要: 本发明实施例提供一种检索方法。该检索方法包括:获取页面的时间间隔信息与关键字信息;根据时间间隔信息与关键字信息构建TriI索引;根据TriI索引计算待查询的关键字的相关度分数;根据预设规则获得与相关度分数对应的页面,将相关度分数对应的页面作为检索结果。本发明实施例通过根据构建基于时间间隔信息和关键字信息的TriI索引,并根据该TriI索引获得待查询的关键字的相关度分数,根据TIKQ算法获得相关度分数最高的前k位各自对应的页面,并将获得的页面作为检索结果。实现了检索时的高效且同时的对时间间隔信息和关键字信息进行处理,提高了TIKQ中文本内容具有较大区分度的场景的查询效率。

    一种事务数据处理方法以及处理器

    公开(公告)号:CN107589984B

    公开(公告)日:2020-09-04

    申请号:CN201710714460.4

    申请日:2017-08-18

    IPC分类号: G06F9/46 G06Q40/04

    摘要: 本发明公开了一种事务数据处理方法,该方法包括步骤A、将事务代码转换为可重新排序的块,同时保留任意重新排序块中的语句中的初始执行顺序与语义;B、当程序获取所有重新排序块时,利用时间滑动窗口计数器来对每个重新排序块的最大冲突争用程度进行测量与收集;C、利用获取的重新排序的事务块与事务争用程度,进行事务重排,提高并发执行效率。本文第一次观察并提出了在事务流水线模式与并发机制下存在有害的排序,并提出两种机制来提取重新排序块以及识别对象的冲突程度,从而在HFT(High Frequency Trading)应用下可以使用的更加优秀的并发控制机制。

    检索方法
    8.
    发明授权

    公开(公告)号:CN104794238B

    公开(公告)日:2018-04-27

    申请号:CN201510229773.1

    申请日:2015-05-07

    IPC分类号: G06F17/30

    摘要: 本发明实施例提供一种检索方法。该检索方法包括:获取页面的时间间隔信息与关键字信息;根据时间间隔信息与关键字信息构建TriI索引;根据TriI索引计算待查询的关键字的相关度分数;根据预设规则获得与相关度分数对应的页面,将相关度分数对应的页面作为检索结果。本发明实施例通过根据构建基于时间间隔信息和关键字信息的TriI索引,并根据该TriI索引获得待查询的关键字的相关度分数,根据TIKQ算法获得相关度分数最高的前k位各自对应的页面,并将获得的页面作为检索结果。实现了检索时的高效且同时的对时间间隔信息和关键字信息进行处理,提高了TIKQ中文本内容具有较大区分度的场景的查询效率。

    一种可延迟唯一约束的方法

    公开(公告)号:CN107609048A

    公开(公告)日:2018-01-19

    申请号:CN201710713364.8

    申请日:2017-08-18

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种基于动态检查表的可延迟唯一约束的实现方法,该方法设计了一种新的延迟检查信息的管理方式,不按照事件进行记录,而是按照触发器及关系表信息,记录其中冲突的键值和元组列表,构成动态检查表DCT。在删除键值冲突的元组的时,通过键值找到元组并及时删除动态检查表中不再违反唯一约束的元组,减少事务提交时重复检查的元组数量。本发明中的实现方法可以显著缩短事务提交时间,进而减少事务执行总时间,提升数据库的性能。

    一种事务数据处理方法以及处理器

    公开(公告)号:CN107589984A

    公开(公告)日:2018-01-16

    申请号:CN201710714460.4

    申请日:2017-08-18

    IPC分类号: G06F9/46 G06Q40/04

    摘要: 本发明公开了一种事务数据处理方法,该方法包括步骤A、将事务代码转换为可重新排序的块,同时保留任意重新排序块中的语句中的初始执行顺序与语义;B、当程序获取所有重新排序块时,利用时间滑动窗口计数器来对每个重新排序块的最大冲突争用程度进行测量与收集;C、利用获取的重新排序的事务块与事务争用程度,进行事务重排,提高并发执行效率。本文第一次观察并提出了在事务流水线模式与并发机制下存在有害的排序,并提出两种机制来提取重新排序块以及识别对象的冲突程度,从而在HFT(High Frequency Trading)应用下可以使用的更加优秀的并发控制机制。