本申请提供一种基于消除OpenCL运行时开销提高GPU程序性能的方法，所述方法包括：步骤1：构建OpenCL Kerne l编译后代码的高效缓存机制，所述高效缓存机制包括缓存方式和缓存数据结构。步骤2：根据所述高效缓存机制，确定快速查找策略、更新策略及新节点插入方法。步骤3：根据所述快速查找策略、更新策略及新节点插入方法，确定启发式搜索队列的定义、启发式搜索队列的创建及启发式搜索队列的使用。步骤4：根据所述启发式搜索队列，确定运行时对缓存的使用策略，包含查找启发式搜索队列和查找缓存队列，自动判断待调用的OpenCL Kerne l是否需要编译，如果不需要，则返回已经编译好的OpenCL Kerne l；否则调用OpenCL Kerne l编译接口，对该OpenCL Kerne l进行编译，最终实现有效消除OpenCL运行时开销。