一种数据加载方法、终端和计算集群

    公开(公告)号:CN106503058B

    公开(公告)日:2019-01-18

    申请号:CN201610856707.1

    申请日:2016-09-27

    摘要: 本发明实施例提供一种数据加载方法、终端和计算集群,涉及通信技术领域,能够降低KeyValue数据库的读写时延,提高KeyValue数据库的查询性能。具体方案为:计算集群接收携带有待加载数据表的分区信息的数据加载请求;根据分区信息确定第一数据分区,分区信息指示的所有分区分别绑定一个第一数据分区;分别获取分区信息指示的每个分区的源数据,对每个分区的源数据分别执行映射任务;根据分区信息指示的分区与第一数据分区的绑定关系,将执行每个映射任务所得的中间数据对应地写入第一数据分区;对每个第一数据分区中的中间数据分别执行归约任务,执行得到每个归约任务的目标文件,目标文件供KeyValue数据库的加载数据表进行数据查询使用。本发明实施例用于加载数据。

    数据查询方法和装置
    2.
    发明公开

    公开(公告)号:CN105354255A

    公开(公告)日:2016-02-24

    申请号:CN201510689335.3

    申请日:2015-10-21

    发明人: 郭益君 毕杰山

    IPC分类号: G06F17/30

    摘要: 本发明是关于一种数据查询方法和装置,属于数据库领域。所述方法包括:接收客户端的查询请求,查询请求中包含有查询数据;根据查询请求查询主索引的目标二级索引,得到查询数据对应的目标行主键;从主索引中获取目标行主键对应的目标索引行中的索引数据;向客户端提供目标索引行中的索引数据。本发明通过查询数据查询目标二级索引,该目标二级索引中的第一索引列中记录有至少两个第二索引列中的索引数据,得到查询数据对应的行主键,再获取该行主键对应的索引数据,解决了相关技术中在进行查询时,查询效率较低的问题;达到了进行一次查询就能够查询多个第二索引列中的索引数据的效果,查询过程操作简单,查询效率较高。

    存储数据的方法和装置

    公开(公告)号:CN105740405B

    公开(公告)日:2020-06-26

    申请号:CN201610061190.7

    申请日:2016-01-29

    发明人: 毕杰山 郭益君

    IPC分类号: G06F16/22 G06F16/29

    摘要: 本发明公开了一种存储数据的方法和装置。该方法包括:获取数据对象的主索引,其中,该主索引的行标识包括至少一个字段;根据该主索引的行标识确定该数据对象的二级索引的行标识,其中,该二级索引的行标识包括索引字段和该主索引的行标识的至少一个字段中除该索引字段外的字段,该索引字段与该主索引的行标识的至少一个字段中第一个字段不同;根据该二级索引的行标识生成该数据对象的二级索引;根据该主索引和该二级索引存储该数据对象。本发明实施例的存储数据的方法和装置,能够节省存储空间。

    一种KeyValue数据库的数据表的更新方法与表数据更新装置

    公开(公告)号:CN107977396B

    公开(公告)日:2021-07-20

    申请号:CN201710767670.X

    申请日:2015-02-17

    发明人: 郭益君 毕杰山

    IPC分类号: G06F16/23 G06F16/16 G06F16/22

    摘要: 本发明实施例提供了一种KeyValue数据库的数据表的更新方法,包括:接收全量数据更新指令,根据全量数据更新指令获取待导入的数据,并根据待导入的数据生成全量数据更新文件;获取全量数据更新指令对应的数据表的M行旧数据,并根据M行旧数据的M个RowKey,生成全量数据删除文件;将全量数据更新文件导入数据表;将全量数据删除文件导入数据表。本发明实施例提供的KeyValue数据库的数据表的更新方法能够实现KeyValue数据库的数据表的全量更新,且更新速度较快,原子性较好。本发明实施例还提供了相关的表数据更新装置。

    一种数据加载方法、终端和计算集群

    公开(公告)号:CN106503058A

    公开(公告)日:2017-03-15

    申请号:CN201610856707.1

    申请日:2016-09-27

    IPC分类号: G06F17/30

    摘要: 本发明实施例提供一种数据加载方法、终端和计算集群,涉及通信技术领域,能够降低KeyValue数据库的读写时延,提高KeyValue数据库的查询性能。具体方案为:计算集群接收携带有待加载数据表的分区信息的数据加载请求;根据分区信息确定第一数据分区,分区信息指示的所有分区分别绑定一个第一数据分区;分别获取分区信息指示的每个分区的源数据,对每个分区的源数据分别执行映射任务;根据分区信息指示的分区与第一数据分区的绑定关系,将执行每个映射任务所得的中间数据对应地写入第一数据分区;对每个第一数据分区中的中间数据分别执行归约任务,执行得到每个归约任务的目标文件,目标文件供KeyValue数据库的加载数据表进行数据查询使用。本发明实施例用于加载数据。

    一种神经网络架构搜索方法、装置、设备及介质

    公开(公告)号:CN113361680A

    公开(公告)日:2021-09-07

    申请号:CN202010290428.X

    申请日:2020-04-14

    IPC分类号: G06N3/04 G06N3/08

    摘要: 本申请提供了一种神经网络架构搜索方法,应用于搜索系统,搜索系统包括生成器和搜索器,该方法包括:生成器根据搜索空间生成多个神经网络架构,搜索器获取根据多个神经网络架构获得的多个子模型在第一硬件上的评价指标值,搜索器根据多个子模型对应的神经网络架构和多个子模型在第一硬件上的评价指标值,确定满足预设条件的第一目标神经网络架构。如此,实现了不同初始子模型训练过程的解耦以及神经网络架构搜索过程和初始子模型训练过程的解耦,缩短了搜索时长,提高了搜索效率。

    数据查询方法和装置
    10.
    发明公开

    公开(公告)号:CN108170726A

    公开(公告)日:2018-06-15

    申请号:CN201711309217.0

    申请日:2015-10-21

    发明人: 郭益君 毕杰山

    IPC分类号: G06F17/30

    摘要: 本发明是关于一种数据查询方法和装置,属于数据库领域。所述方法包括:接收客户端的查询请求,查询请求中包含有查询数据;根据查询请求查询主索引的目标二级索引,得到查询数据对应的目标行主键;从主索引中获取目标行主键对应的目标索引行中的索引数据;向客户端提供目标索引行中的索引数据。本发明通过查询数据查询目标二级索引,该目标二级索引中的第一索引列中记录有至少两个第二索引列中的索引数据,得到查询数据对应的行主键,再获取该行主键对应的索引数据,解决了相关技术中在进行查询时,查询效率较低的问题;达到了进行一次查询就能够查询多个第二索引列中的索引数据的效果,查询过程操作简单,查询效率较高。