公开(公告)号：US20090254516A1

公开(公告)日：2009-10-08

申请号：US12099133

申请日：2008-04-07

申请人： Krishnan Meiyyappan ,  Liuxi Yang ,  Jeremy Branscome ,  Michael Corwin ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  James Shau ,  Joseph I. Chamdani

发明人： Krishnan Meiyyappan ,  Liuxi Yang ,  Jeremy Branscome ,  Michael Corwin ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  James Shau ,  Joseph I. Chamdani

IPC分类号： G06F7/06 ,  G06F17/30

CPC分类号： G06F17/30442 ,  G06F17/30094 ,  G06F17/30315 ,  G06F17/30492 ,  G06F17/30504

摘要： Embodiments of the present invention provide hardware-friendly indexing of databases. In particular, forward and reverse indexing are utilized to allow for easy traversal of primary key to foreign key relationships. A novel structure known as a hit list also allows for easy scanning of various indexes in hardware. Group indexing is provided for flexible support of complex group key definition, such as for date range indexing and text indexing. A Replicated Reordered Column (RRC) may also be added to the group index to convert random I/O pattern into sequential I/O of only needed column elements.

摘要翻译： 本发明的实施例提供数据库的硬件友好索引。 特别地，正向和反向索引被用于允许轻松地遍历主键到外键关系。 被称为命中列表的新颖结构还允许在硬件中容易地扫描各种索引。 提供组索引，用于复杂组密钥定义的灵活支持，如日期范围索引和文本索引。 还可以将复制的重新排列（RRC）添加到组索引中以将随机I / O模式转换为仅需要的列元素的顺序I / O。

公开(公告)号：US08862625B2

公开(公告)日：2014-10-14

申请号：US12099133

申请日：2008-04-07

申请人： Krishnan Meiyyappan ,  Liuxi Yang ,  Jeremy Branscome ,  Michael Corwin ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  James Shau ,  Joseph I. Chamdani

发明人： Krishnan Meiyyappan ,  Liuxi Yang ,  Jeremy Branscome ,  Michael Corwin ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  James Shau ,  Joseph I. Chamdani

IPC分类号： G06F7/06 ,  G06F17/30

CPC分类号： G06F17/30442 ,  G06F17/30094 ,  G06F17/30315 ,  G06F17/30492 ,  G06F17/30504

摘要： Embodiments of the present invention provide hardware-friendly indexing of databases. In particular, forward and reverse indexing are utilized to allow for easy traversal of primary key to foreign key relationships. A novel structure known as a hit list also allows for easy scanning of various indexes in hardware. Group indexing is provided for flexible support of complex group key definition, such as for date range indexing and text indexing. A Replicated Reordered Column (RRC) may also be added to the group index to convert random I/O pattern into sequential I/O of only needed column elements.

摘要翻译： 本发明的实施例提供数据库的硬件友好索引。 特别地，正向和反向索引被用于允许轻松地遍历主键到外键关系。 被称为命中列表的新颖结构还允许在硬件中容易地扫描各种索引。 提供组索引，用于复杂组密钥定义的灵活支持，如日期范围索引和文本索引。 还可以将复制的重新排列（RRC）添加到组索引中以将随机I / O模式转换为仅需要的列元素的顺序I / O。

公开(公告)号：US20110246432A1

公开(公告)日：2011-10-06

申请号：US13107399

申请日：2011-05-13

申请人： Liuxi Yang ,  Kapil Surlaker ,  Ravi Krishnamurthy ,  Michael Corwin ,  Jeremy Branscome ,  Krishnan Meiyyappan ,  Joseph I. Chamdani

发明人： Liuxi Yang ,  Kapil Surlaker ,  Ravi Krishnamurthy ,  Michael Corwin ,  Jeremy Branscome ,  Krishnan Meiyyappan ,  Joseph I. Chamdani

IPC分类号： G06F17/30

CPC分类号： G06F17/30315

摘要： Embodiments of the present invention provide one or more hardware-friendly data structures that enable efficient hardware acceleration of database operations. In particular, the present invention employs a column-store format for the database. In the database, column-groups are stored with implicit row ids (RIDs) and a RID-to-primary key column having both column-store and row-store benefits via column hopping and a heap structure for adding new data. Fixed-width column compression allow for easy hardware database processing directly on the compressed data. A global database virtual address space is utilized that allows for arithmetic derivation of any physical address of the data regardless of its location. A word compression dictionary with token compare and sort index is also provided to allow for efficient hardware-based searching of text. A tuple reconstruction process is provided as well that allows hardware to reconstruct a row by stitching together data from multiple column groups.

摘要翻译： 本发明的实施例提供了一个或多个能够有效地加速数据库操作的硬件友好的数据结构。 特别地，本发明采用数据库的列存储格式。 在数据库中，列组通过列跳转和用于添加新数据的堆结构存储隐式行ids（RID）和具有列存储和行存储优势的RID至主键列。 固定宽度列压缩允许直接对压缩数据进行硬件数据库处理。 使用全局数据库虚拟地址空间，允许对数据的任何物理地址的算术推导，而不管其位置如何。 还提供了具有令牌比较和排序索引的单词压缩字典，以允许对文本进行高效的基于硬件的搜索。 还提供了一个元组重建过程，允许硬件通过将来自多个列组的数据进行拼接来重建行。

公开(公告)号：US20090254532A1

公开(公告)日：2009-10-08

申请号：US12099131

申请日：2008-04-07

申请人： Liuxi Yang ,  Kapil Surlaker ,  Ravi Krishnamurthy ,  Michael Corwin ,  Jeremy Branscome ,  Krishnan Meiyyappan ,  Joseph I. Chamdani

发明人： Liuxi Yang ,  Kapil Surlaker ,  Ravi Krishnamurthy ,  Michael Corwin ,  Jeremy Branscome ,  Krishnan Meiyyappan ,  Joseph I. Chamdani

IPC分类号： G06F7/00 ,  G06F17/30

CPC分类号： G06F17/30315

摘要： Embodiments of the present invention provide one or more hardware-friendly data structures that enable efficient hardware acceleration of database operations. In particular, the present invention employs a column-store format for the database. In the database, column-groups are stored with implicit row ids (RIDs) and a RID-to-primary key column having both column-store and row-store benefits via column hopping and a heap structure for adding new data. Fixed-width column compression allow for easy hardware database processing directly on the compressed data. A global database virtual address space is utilized that allows for arithmetic derivation of any physical address of the data regardless of its location. A word compression dictionary with token compare and sort index is also provided to allow for efficient hardware-based searching of text. A tuple reconstruction process is provided as well that allows hardware to reconstruct a row by stitching together data from multiple column groups.

摘要翻译： 本发明的实施例提供了一个或多个能够有效地加速数据库操作的硬件友好的数据结构。 特别地，本发明采用数据库的列存储格式。 在数据库中，列组通过列跳转和用于添加新数据的堆结构存储隐式行ids（RID）和RID至主键列，具有列存储和行存储优势。 固定宽度列压缩允许直接对压缩数据进行硬件数据库处理。 使用全局数据库虚拟地址空间，允许对数据的任何物理地址的算术推导，而不管其位置如何。 还提供了具有令牌比较和排序索引的单词压缩字典，以允许对文本进行高效的基于硬件的搜索。 还提供了一个元组重建过程，允许硬件通过将来自多个列组的数据进行拼接来重建行。

公开(公告)号：US09378231B2

公开(公告)日：2016-06-28

申请号：US13107399

申请日：2011-05-13

申请人： Liuxi Yang ,  Kapil Surlaker ,  Ravi Krishnamurthy ,  Michael Corwin ,  Jeremy Branscome ,  Krishnan Meiyyappan ,  Joseph I. Chamdani

发明人： Liuxi Yang ,  Kapil Surlaker ,  Ravi Krishnamurthy ,  Michael Corwin ,  Jeremy Branscome ,  Krishnan Meiyyappan ,  Joseph I. Chamdani

IPC分类号： G06F17/30

CPC分类号： G06F17/30315

摘要： Embodiments of the present invention provide one or more hardware-friendly data structures that enable efficient hardware acceleration of database operations. In particular, the present invention employs a column-store format for the database. In the database, column-groups are stored with implicit row ids (RIDs) and a RID-to-primary key column having both column-store and row-store benefits via column hopping and a heap structure for adding new data. Fixed-width column compression allow for easy hardware database processing directly on the compressed data. A global database virtual address space is utilized that allows for arithmetic derivation of any physical address of the data regardless of its location. A word compression dictionary with token compare and sort index is also provided to allow for efficient hardware-based searching of text. A tuple reconstruction process is provided as well that allows hardware to reconstruct a row by stitching together data from multiple column groups.

摘要翻译： 本发明的实施例提供了一个或多个能够有效地加速数据库操作的硬件友好的数据结构。 特别地，本发明采用数据库的列存储格式。 在数据库中，列组通过列跳转和用于添加新数据的堆结构存储隐式行ids（RID）和具有列存储和行存储优势的RID至主键列。 固定宽度列压缩允许直接对压缩数据进行硬件数据库处理。 使用全局数据库虚拟地址空间，允许对数据的任何物理地址的算术推导，而不管其位置如何。 还提供了具有令牌比较和排序索引的单词压缩字典，以允许对文本进行高效的基于硬件的搜索。 还提供了一个元组重建过程，允许硬件通过将来自多个列组的数据进行拼接来重建行。

公开(公告)号：US07966343B2

公开(公告)日：2011-06-21

申请号：US12099131

申请日：2008-04-07

申请人： Liuxi Yang ,  Kapil Surlaker ,  Ravi Krishnamurthy ,  Michael Corwin ,  Jeremy Branscome ,  Krishnan Meiyyappan ,  Joseph I. Chamdani

发明人： Liuxi Yang ,  Kapil Surlaker ,  Ravi Krishnamurthy ,  Michael Corwin ,  Jeremy Branscome ,  Krishnan Meiyyappan ,  Joseph I. Chamdani

IPC分类号： G06F17/30

CPC分类号： G06F17/30315

摘要： Embodiments of the present invention provide one or more hardware-friendly data structures that enable efficient hardware acceleration of database operations. In particular, the present invention employs a column-store format for the database. In the database, column-groups are stored with implicit row ids (RIDs) and a RID-to-primary key column having both column-store and row-store benefits via column hopping and a heap structure for adding new data. Fixed-width column compression allow for easy hardware database processing directly on the compressed data. A global database virtual address space is utilized that allows for arithmetic derivation of any physical address of the data regardless of its location. A word compression dictionary with token compare and sort index is also provided to allow for efficient hardware-based searching of text. A tuple reconstruction process is provided as well that allows hardware to reconstruct a row by stitching together data from multiple column groups.

摘要翻译： 本发明的实施例提供了一个或多个能够有效地加速数据库操作的硬件友好的数据结构。 特别地，本发明采用数据库的列存储格式。 在数据库中，列组通过列跳转和用于添加新数据的堆结构存储隐式行ids（RID）和具有列存储和行存储优势的RID至主键列。 固定宽度列压缩允许直接对压缩数据进行硬件数据库处理。 使用全局数据库虚拟地址空间，允许对数据的任何物理地址的算术推导，而不管其位置如何。 还提供了具有令牌比较和排序索引的单词压缩字典，以允许对文本进行高效的基于硬件的搜索。 还提供了一个元组重建过程，允许硬件通过将来自多个列组的数据进行拼接来重建行。

公开(公告)号：US20110099155A1

公开(公告)日：2011-04-28

申请号：US12984284

申请日：2011-01-04

申请人： James Shau ,  Krishnan Meiyyappan ,  Hung Tran ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  Jeremy Branscome ,  Joseph I. Chamdani

发明人： James Shau ,  Krishnan Meiyyappan ,  Hung Tran ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  Jeremy Branscome ,  Joseph I. Chamdani

IPC分类号： G06F17/30

CPC分类号： G06F17/30595

摘要： Embodiments of the present invention provide for batch and incremental loading of data into a database. In the present invention, the loader infrastructure utilizes machine code database instructions and hardware acceleration to parallelize the load operations with the I/O operations. A large, hardware accelerator memory is used as staging cache for the load process. The load process also comprises an index profiling phase that enables balanced partitioning of the created indexes to allow for pipelined load. The online incremental loading process may also be performed while serving queries.

摘要翻译： 本发明的实施例提供数据批量和增量加载到数据库中。 在本发明中，装载机基础设施利用机器码数据库指令和硬件加速来将加载操作与I / O操作并行化。 大型的硬件加速器内存用作加载进程的分段缓存。 加载过程还包括一个索引分析阶段，可以对所创建的索引进行平衡分区，以允许流水线负载。 在提供查询时也可以执行在线增量加载过程。

公开(公告)号：US20090319550A1

公开(公告)日：2009-12-24

申请号：US12144303

申请日：2008-06-23

申请人： James Shau ,  Krishnan Meiyyappan ,  Hung Tran ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  Jeremy Branscome ,  Joseph I. Chamdani

发明人： James Shau ,  Krishnan Meiyyappan ,  Hung Tran ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  Jeremy Branscome ,  Joseph I. Chamdani

IPC分类号： G06F17/30

CPC分类号： G06F17/30595

摘要： Embodiments of the present invention provide for batch and incremental loading of data into a database. In the present invention, the loader infrastructure utilizes machine code database instructions and hardware acceleration to parallelize the load operations with the I/O operations. A large, hardware accelerator memory is used as staging cache for the load process. The load process also comprises an index profiling phase that enables balanced partitioning of the created indexes to allow for pipelined load. The online incremental loading process may also be performed while serving queries.

摘要翻译： 本发明的实施例提供数据批量和增量加载到数据库中。 在本发明中，装载机基础设施利用机器码数据库指令和硬件加速来将加载操作与I / O操作并行化。 大型的硬件加速器内存用作加载进程的分段缓存。 加载过程还包括一个索引分析阶段，可以对所创建的索引进行平衡分区，以允许流水线负载。 在提供查询时也可以执行在线增量加载过程。

公开(公告)号：US08165988B2

公开(公告)日：2012-04-24

申请号：US12984284

申请日：2011-01-04

申请人： James Shau ,  Krishnan Meiyyappan ,  Hung Tran ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  Jeremy Branscome ,  Joseph I. Chamdani

发明人： James Shau ,  Krishnan Meiyyappan ,  Hung Tran ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  Jeremy Branscome ,  Joseph I. Chamdani

IPC分类号： G06F17/30

CPC分类号： G06F17/30595

摘要： Embodiments of the present invention provide for batch and incremental loading of data into a database. In the present invention, the loader infrastructure utilizes machine code database instructions and hardware acceleration to parallelize the load operations with the I/O operations. A large, hardware accelerator memory is used as staging cache for the load process. The load process also comprises an index profiling phase that enables balanced partitioning of the created indexes to allow for pipelined load. The online incremental loading process may also be performed while serving queries.

摘要翻译： 本发明的实施例提供数据批量和增量加载到数据库中。 在本发明中，装载机基础设施利用机器码数据库指令和硬件加速来将加载操作与I / O操作并行化。 大型的硬件加速器内存用作加载进程的分段缓存。 加载过程还包括一个索引分析阶段，可以对所创建的索引进行平衡分区，以允许流水线负载。 在提供查询时也可以执行在线增量加载过程。

公开(公告)号：US07895151B2

公开(公告)日：2011-02-22

申请号：US12144303

申请日：2008-06-23

申请人： James Shau ,  Krishnan Meiyyappan ,  Hung Tran ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  Jeremy Branscome ,  Joseph I Chamdani

发明人： James Shau ,  Krishnan Meiyyappan ,  Hung Tran ,  Ravi Krishnamurthy ,  Kapil Surlaker ,  Jeremy Branscome ,  Joseph I Chamdani

IPC分类号： G06F17/30

CPC分类号： G06F17/30595

摘要： Embodiments of the present invention provide for batch and incremental loading of data into a database. In the present invention, the loader infrastructure utilizes machine code database instructions and hardware acceleration to parallelize the load operations with the I/O operations. A large, hardware accelerator memory is used as staging cache for the load process. The load process also comprises an index profiling phase that enables balanced partitioning of the created indexes to allow for pipelined load. The online incremental loading process may also be performed while serving queries.

摘要翻译： 本发明的实施例提供数据批量和增量加载到数据库中。 在本发明中，装载机基础设施利用机器码数据库指令和硬件加速来将加载操作与I / O操作并行化。 大型的硬件加速器内存用作加载进程的分段缓存。 加载过程还包括一个索引分析阶段，可以对所创建的索引进行平衡分区，以允许流水线负载。 在提供查询时也可以执行在线增量加载过程。