公开(公告)号：US20050086652A1

公开(公告)日：2005-04-21

申请号：US10677414

申请日：2003-10-02

申请人： Xinmin Tian ,  Shih-Wei Liao ,  Hong Wang ,  Milind Girkar ,  John Shen ,  Perry Wang ,  Grant Haab ,  Gerolf Hoflehner ,  Daniel Lavery ,  Hideki Saito ,  Sanjiv Shah ,  Dongkeun Kim

发明人： Xinmin Tian ,  Shih-Wei Liao ,  Hong Wang ,  Milind Girkar ,  John Shen ,  Perry Wang ,  Grant Haab ,  Gerolf Hoflehner ,  Daniel Lavery ,  Hideki Saito ,  Sanjiv Shah ,  Dongkeun Kim

IPC分类号： G06F9/38 ,  G06F9/45 ,  G06F9/46 ,  G06F9/48

CPC分类号： G06F9/3851 ,  G06F8/4442 ,  G06F9/383 ,  G06F9/4843 ,  G06F9/52

摘要： Methods and apparatus for reducing memory latency in a software application are disclosed. A disclosed system uses one or more helper threads to prefetch variables for a main thread to reduce performance bottlenecks due to memory latency and/or a cache miss. A performance analysis tool is used to profile the software application's resource usage and identifies areas in the software application experiencing performance bottlenecks. Compiler-runtime instructions are generated into the software application to create and manage the helper thread. The helper thread prefetches data in the identified areas of the software application experiencing performance bottlenecks. A counting mechanism is inserted into the helper thread and a counting mechanism is inserted into the main thread to coordinate the execution of the helper thread with the main thread and to help ensure the prefetched data is not removed from the cache before the main thread is able to take advantage of the prefetched data.

摘要翻译： 公开了一种用于减少软件应用中的存储器延迟的方法和装置。 所公开的系统使用一个或多个辅助线程来预取主线程的变量，以减少由于存储器延迟和/或高速缓存未命中引起的性能瓶颈。 使用性能分析工具来描述软件应用程序的资源使用情况，并识别遇到性能瓶颈的软件应用程序中的区域。 编译器运行时指令生成到软件应用程序中以创建和管理辅助线程。 辅助线程预取了遇到性能瓶颈的软件应用程序的已识别区域中的数据。 计数机制被插入到辅助线程中，并且计数机制被插入到主线程中以协调辅助线程与主线程的执行，并且有助于确保在主线程可用之前预取数据不被从高速缓存中移除 以利用预取的数据。

公开(公告)号：US20050081207A1

公开(公告)日：2005-04-14

申请号：US10779193

申请日：2004-02-13

申请人： Gerolf Hoflehner ,  Shih-wei Liao ,  Xinmin Tian ,  Hong Wang ,  Daniel Lavery ,  Perry Wang ,  Dongkeun Kim ,  Milind Girkar ,  John Shen

发明人： Gerolf Hoflehner ,  Shih-wei Liao ,  Xinmin Tian ,  Hong Wang ,  Daniel Lavery ,  Perry Wang ,  Dongkeun Kim ,  Milind Girkar ,  John Shen

IPC分类号： G06F9/45 ,  G06F9/46

CPC分类号： G06F8/441

摘要： Methods and apparatuses for thread management for multi-threading are described herein. In one embodiment, exemplary process includes selecting, during a compilation of code having one or more threads executable in a data processing system, a current thread having a most bottom order, determining resources allocated to one or more child threads spawned from the current thread, and allocating resources for the current thread in consideration of the resources allocated to the current thread's one or more child threads to avoid resource conflicts between the current thread and its one or more child threads. Other methods and apparatuses are also described.

摘要翻译： 本文描述了用于多线程的线程管理的方法和装置。 在一个实施例中，示例性过程包括在具有在数据处理系统中可执行的一个或多个线程的代码的编译期间选择具有最低阶的当前线程，确定分配给从当前线程产生的一个或多个子线程的资源， 并且考虑分配给当前线程的一个或多个子线程的资源来为当前线程分配资源，以避免当前线程与其一个或多个子线程之间的资源冲突。 还描述了其它方法和装置。

公开(公告)号：US07398521B2

公开(公告)日：2008-07-08

申请号：US10779193

申请日：2004-02-13

申请人： Gerolf F. Hoflehner ,  Shih-wei Liao ,  Xinmin Tian ,  Hong Wang ,  Daniel M. Lavery ,  Perry Wang ,  Dongkeun Kim ,  Milind Girkar ,  John P. Shen

发明人： Gerolf F. Hoflehner ,  Shih-wei Liao ,  Xinmin Tian ,  Hong Wang ,  Daniel M. Lavery ,  Perry Wang ,  Dongkeun Kim ,  Milind Girkar ,  John P. Shen

IPC分类号： G06F9/45

CPC分类号： G06F8/441

摘要： Methods and apparatuses for thread management for multi-threading are described herein. In one embodiment, exemplary process includes selecting, during a compilation of code having one or more threads executable in a data processing system, a current thread having a most bottom order, determining resources allocated to one or more child threads spawned from the current thread, and allocating resources for the current thread in consideration of the resources allocated to the current thread's one or more child threads to avoid resource conflicts between the current thread and its one or more child threads. Other methods and apparatuses are also described.

摘要翻译： 本文描述了用于多线程的线程管理的方法和装置。 在一个实施例中，示例性过程包括在具有在数据处理系统中可执行的一个或多个线程的代码的编译期间选择具有最低阶的当前线程，确定分配给从当前线程产生的一个或多个子线程的资源， 并且考虑分配给当前线程的一个或多个子线程的资源来为当前线程分配资源，以避免当前线程与其一个或多个子线程之间的资源冲突。 还描述了其它方法和装置。

公开(公告)号：US07260705B2

公开(公告)日：2007-08-21

申请号：US10608316

申请日：2003-06-26

申请人： Hong Wang ,  John Shen ,  Perry Wang ,  Marsha Eng ,  Gerolf F. Hoflehner ,  Dan Lavery ,  Wei Li ,  Alejandro Ramirez ,  Ed Grochowski

发明人： Hong Wang ,  John Shen ,  Perry Wang ,  Marsha Eng ,  Gerolf F. Hoflehner ,  Dan Lavery ,  Wei Li ,  Alejandro Ramirez ,  Ed Grochowski

IPC分类号： G06F9/30

CPC分类号： G06F9/3853 ,  G06F8/447 ,  G06F9/30181 ,  G06F9/30196 ,  G06F9/3808 ,  G06F9/3822 ,  G06F9/3836 ,  G06F9/3844

摘要： In one embodiment, the invention provides a method for examining information about branch instructions. A method, comprising: examining information about branch instructions that reach a write-back stage of processing within a processor, defining a plurality of streams based on the examining, wherein each stream comprises a sequence of basic blocks in which only a last block in the sequence ends in a branch instruction, the execution of which causes program flow to branch, the remaining basic blocks in the stream each ending in a branch instruction, the execution of which does not cause program flow to branch.

摘要翻译： 在一个实施例中，本发明提供了一种用于检查关于分支指令的信息的方法。 一种方法，包括：检查关于在处理器内达到处理的回写阶段的分支指令的信息，基于所述检查来定义多个流，其中每个流包括一系列基本块，其中仅一 序列在分支指令中结束，其执行导致程序流分支，流中的剩余基本块每个以分支指令结束，其执行不导致程序流分支。

公开(公告)号：US20050071438A1

公开(公告)日：2005-03-31

申请号：US10676889

申请日：2003-09-30

申请人： Shih-Wei Liao ,  Xinmin Tian ,  Gerolf Hoflehner ,  Hong Wang ,  Daniel Lavery ,  Perry Wang ,  Dongkeun Kim ,  Milind Girkar ,  John Shen

发明人： Shih-Wei Liao ,  Xinmin Tian ,  Gerolf Hoflehner ,  Hong Wang ,  Daniel Lavery ,  Perry Wang ,  Dongkeun Kim ,  Milind Girkar ,  John Shen

IPC分类号： G06F9/38 ,  G06F9/45 ,  G06F15/167

CPC分类号： G06F9/3842 ,  G06F8/4442 ,  G06F9/383 ,  G06F9/3851

摘要： Methods and apparatuses for compiler-created helper thread for multi-threading are described herein. In one embodiment, exemplary process includes identifying a region of a main thread that likely has one or more delinquent loads, the one or more delinquent loads representing loads which likely suffer cache misses during an execution of the main thread, analyzing the region for one or more helper threads with respect to the main thread, and generating code for the one or more helper threads, the one or more helper threads being speculatively executed in parallel with the main thread to perform one or more tasks for the region of the main thread. Other methods and apparatuses are also described.

摘要翻译： 本文描述了用于多线程的编译器创建的辅助线程的方法和装置。 在一个实施例中，示例性过程包括识别可能具有一个或多个拖欠负载的主线程的区域，所述一个或多个违规负载表示在执行主线程期间可能遭受高速缓存未命中的负载，分析该区域中的一个或多个 相对于主线程的更多帮助线程，以及为一个或多个辅助线程生成代码，一个或多个辅助线程与主线程并行地被推测地执行，以对主线程的区域执行一个或多个任务。 还描述了其它方法和装置。

公开(公告)号：US20050055541A1

公开(公告)日：2005-03-10

申请号：US10658072

申请日：2003-09-08

申请人： Tor Aamodt ,  Hong Wang ,  Per Hammarlund ,  John Shen ,  Steve Liao ,  Perry Wang

发明人： Tor Aamodt ,  Hong Wang ,  Per Hammarlund ,  John Shen ,  Steve Liao ,  Perry Wang

IPC分类号： G06F9/30 ,  G06F9/38

CPC分类号： G06F9/3842 ,  G06F9/30101 ,  G06F9/3802 ,  G06F9/383 ,  G06F9/3836 ,  G06F9/384 ,  G06F9/3851 ,  G06F9/3857 ,  G06F9/3859

摘要： Embodiments of an apparatus, system and method enhance the efficiency of processor resource utilization during instruction prefetching via one or more speculative threads. Renamer logic and a map table are utilized to perform filtering of instructions in a speculative thread instruction stream. The map table includes a yes-a-thing bit to indicate whether the associated physical register's content reflects the value that would be computed by the main thread. A thread progress beacon table is utilized to track relative progress of a main thread and a speculative helper thread. Based upon information in the thread progress beacon table, the main thread may effect termination of a helper thread that is not likely to provide a performance benefit for the main thread.

摘要翻译： 装置，系统和方法的实施例通过一个或多个推测性线程增强在指令预取期间处理器资源利用的效率。 利用重命名逻辑和映射表来对推测性线程指令流中的指令进行滤波。 映射表包括一个肯定事件位，用于指示相关联的物理寄存器的内容是否反映由主线程计算的值。 线程进度信标表用于跟踪主线程和推测式辅助线程的相对进度。 基于线程进度信标表中的信息，主线程可能会影响不太可能为主线程提供性能优势的辅助线程的终止。

公开(公告)号：US08612949B2

公开(公告)日：2013-12-17

申请号：US12650630

申请日：2009-12-31

申请人： Shih-wei Liao ,  Xinmin Tian ,  Gerolf F. Hoflehner ,  Hong Wang ,  Daniel M. Lavery ,  Perry Wang ,  Dongkeun Kim ,  Milind Girkar ,  John P. Shen

发明人： Shih-wei Liao ,  Xinmin Tian ,  Gerolf F. Hoflehner ,  Hong Wang ,  Daniel M. Lavery ,  Perry Wang ,  Dongkeun Kim ,  Milind Girkar ,  John P. Shen

IPC分类号： G06F9/45

CPC分类号： G06F9/3842 ,  G06F8/4442 ,  G06F9/383 ,  G06F9/3851

摘要： Methods and apparatuses for compiler-created helper thread for multi-threading are described herein. In one embodiment, exemplary process includes identifying a region of a main thread that likely has one or more delinquent loads, the one or more delinquent loads representing loads which likely suffer cache misses during an execution of the main thread, analyzing the region for one or more helper threads with respect to the main thread, and generating code for the one or more helper threads, the one or more helper threads being speculatively executed in parallel with the main thread to perform one or more tasks for the region of the main thread. Other methods and apparatuses are also described.

摘要翻译： 本文描述了用于多线程的编译器创建的辅助线程的方法和装置。 在一个实施例中，示例性过程包括识别可能具有一个或多个拖欠负载的主线程的区域，所述一个或多个违规负载表示在执行主线程期间可能遭受高速缓存未命中的负载，分析该区域中的一个或多个 相对于主线程的更多帮助线程，以及为一个或多个辅助线程生成代码，一个或多个辅助线程与主线程并行地被推测地执行，以对主线程的区域执行一个或多个任务。 还描述了其它方法和装置。

公开(公告)号：US08037465B2

公开(公告)日：2011-10-11

申请号：US11242489

申请日：2005-09-30

申请人： Xinmin Tian ,  Milind Girkar ,  David C. Sehr ,  Richard Grove ,  Wei Li ,  Hong Wang ,  Chris Newburn ,  Perry Wang ,  John Shen

发明人： Xinmin Tian ,  Milind Girkar ,  David C. Sehr ,  Richard Grove ,  Wei Li ,  Hong Wang ,  Chris Newburn ,  Perry Wang ,  John Shen

IPC分类号： G06F9/44 ,  G06F9/45

CPC分类号： G06F8/45

摘要： Thread-data affinity optimization can be performed by a compiler during the compiling of a computer program to be executed on a cache coherent non-uniform memory access (cc-NUMA) platform. In one embodiment, the present invention includes receiving a program to be compiled. The received program is then compiled in a first pass and executed. During execution, the compiler collects profiling data using a profiling tool. Then, in a second pass, the compiler performs thread-data affinity optimization on the program using the collected profiling data.

摘要翻译： 线程数据亲和度优化可以在编译要在高速缓存相干非均匀内存访问（cc-NUMA）平台上执行的计算机程序时由编译器执行。 在一个实施例中，本发明包括接收要编译的程序。 接收的程序然后被编译成第一遍并被执行。 在执行期间，编译器使用分析工具收集分析数据。 然后，在第二遍，编译器使用收集的分析数据对程序执行线程数据关联优化。

公开(公告)号：US20100281471A1

公开(公告)日：2010-11-04

申请号：US12650630

申请日：2009-12-31

申请人： Shih-Wei Liao ,  Xinmin Tian ,  Gerolf F. Hoflehner ,  Hong Wang ,  Daniel M. Lavery ,  Perry Wang ,  Dongkeun Kim ,  Milind Girkar ,  John P. Shen

发明人： Shih-Wei Liao ,  Xinmin Tian ,  Gerolf F. Hoflehner ,  Hong Wang ,  Daniel M. Lavery ,  Perry Wang ,  Dongkeun Kim ,  Milind Girkar ,  John P. Shen

IPC分类号： G06F9/45 ,  G06F9/46

CPC分类号： G06F9/3842 ,  G06F8/4442 ,  G06F9/383 ,  G06F9/3851

摘要： Methods and apparatuses for compiler-created helper thread for multi-threading are described herein. In one embodiment, exemplary process includes identifying a region of a main thread that likely has one or more delinquent loads, the one or more delinquent loads representing loads which likely suffer cache misses during an execution of the main thread, analyzing the region for one or more helper threads with respect to the main thread, and generating code for the one or more helper threads, the one or more helper threads being speculatively executed in parallel with the main thread to perform one or more tasks for the region of the main thread. Other methods and apparatuses are also described.

摘要翻译： 本文描述了用于多线程的编译器创建的辅助线程的方法和装置。 在一个实施例中，示例性过程包括识别可能具有一个或多个拖欠负载的主线程的区域，所述一个或多个违规负载表示在执行主线程期间可能遭受高速缓存未命中的负载，分析该区域中的一个或多个 相对于主线程的更多帮助线程，以及为一个或多个辅助线程生成代码，一个或多个辅助线程与主线程并行地被推测地执行，以对主线程的区域执行一个或多个任务。 还描述了其它方法和装置。

公开(公告)号：US07657880B2

公开(公告)日：2010-02-02

申请号：US10633012

申请日：2003-08-01

申请人： Hong Wang ,  Tor Aamodt ,  Per Hammarlund ,  John Shen ,  Xinmin Tian ,  Milind Girkar ,  Perry Wang ,  Steve Shih-wei Liao

发明人： Hong Wang ,  Tor Aamodt ,  Per Hammarlund ,  John Shen ,  Xinmin Tian ,  Milind Girkar ,  Perry Wang ,  Steve Shih-wei Liao

IPC分类号： G06F9/26 ,  G06F15/76 ,  G06F9/30 ,  G06F9/45

CPC分类号： G06F9/3842 ,  G06F9/3826 ,  G06F9/3834 ,  G06F9/3851

摘要： The latencies associated with retrieving instruction information for a main thread are decreased through the use of a simultaneous helper thread. The helper thread is permitted to execute Store instructions. Store blocker logic operates to prevent data associated with a Store instruction in a helper thread from being committed to memory. Dependence blocker logic operates to prevent data associated with a Store instruction in a speculative helper thread from being bypassed to a Load instruction in a non-speculative thread.

摘要翻译： 通过使用同时提供的线程来减少与检索主线程的指令信息相关的延迟。 帮助线程被允许执行存储指令。 存储阻止器逻辑用于防止与辅助线程中的Store指令相关联的数据被提交到存储器。 依赖阻止程序逻辑用于防止与推测式帮助线程中的存储指令相关联的数据被旁路到非推测线程中的加载指令。