同步任务的处理方法及系统

    公开(公告)号:CN108804206A

    公开(公告)日:2018-11-13

    申请号:CN201710283545.1

    申请日:2017-04-26

    IPC分类号: G06F9/48

    CPC分类号: G06F9/4881 G06F2209/486

    摘要: 本发明公开了一种同步任务的处理方法及系统,涉及软件开发过程中的任务处理领域。该方法的步骤为:在上下级任务中分别创建任务执行结果发送和接收接口;同时开启上下级任务,上级任务执行完成后,将任务执行结果发送至下级任务;下级任务收到任务执行结果后由休眠状态变更为唤醒状态;当任务执行结果为上级任务执行失败结果时,下级任务由唤醒状态变更为休眠状态;当任务执行结果为上级任务执行成功结果时,下级任务开始执行。本发明的执行结果发送和接收接口占用的系统资源较小,而且通过任务执行结果发送和接收接口相耦合同步任务的耦合度较低,不仅便于同步任务的扩展,而且不会影响系统的性能。

    一种采用多级反馈队列的进程调度方法

    公开(公告)号:CN107678843A

    公开(公告)日:2018-02-09

    申请号:CN201710849197.X

    申请日:2017-09-20

    IPC分类号: G06F9/48

    摘要: 本发明公开了一种采用多级反馈队列的进程调度方法,涉及ETL领域,着重介绍一种进程调度方法。通过动态的分配作业给多级反馈队列来实现作业调度算法,算法旨在减少作业在多个队列中上下文的切换数量,合理充分利用多级反馈队列,并以此减少队列的个数,提高系统资源的利用率。作业在牺牲部分优先权为前提,减少了接近三分之二上下文切换数量。同时也拥有多级反馈队列的特点,即综合了上诉几种经典算法的优点。鉴于算法本身牺牲部分优先权为特点,将其应用于ETL等批量处理能提高作业的工作效率。

    用于在计算环境中执行线程的方法和系统

    公开(公告)号:CN102841810A

    公开(公告)日:2012-12-26

    申请号:CN201210147169.0

    申请日:2012-05-11

    IPC分类号: G06F9/48

    摘要: 本发明涉及用于在计算环境中执行线程的方法和系统。公开了一种用于以非抢占式方式执行进程的常规可中断线程的技术,包括:响应于与针对第一线程的第一消息相关联的第一条目到达运行队列的开端,由第一线程接收第一唤醒信号。响应于接收唤醒信号,由第一线程等待全局锁。响应于第一线程接收全局锁,由第一线程从关联的消息队列获取第一消息并处理获取的第一消息。响应于完成对第一消息的处理,第一线程向第二线程发送第二唤醒信号,该第二线程的关联条目是运行队列中的下一个。最后,在发送第二唤醒信号之后,第一线程释放全局锁。

    基于Spark的分布式计算中多场景任务调度方法及装置

    公开(公告)号:CN108762902A

    公开(公告)日:2018-11-06

    申请号:CN201810496636.8

    申请日:2018-05-22

    IPC分类号: G06F9/48

    CPC分类号: G06F9/4843 G06F2209/486

    摘要: 本发明公开了一种基于Spark的分布式计算中多场景任务调度方法及装置,该方法包括:接收分布式计算的执行指令,判断执行指令中的操作类型;在执行聚合操作时,提高reduce并行度,或当key对应数据量超过第一阈值,将该key转换为不同的key,使得同一任务上处理的数据分散至不同任务中;在执行连接操作时,当RDD数据量小于第二阈值,将该RDD进行广播并执行map操作替换连接操作,或当RDD数据量大于第三阈值,采样导致数据倾斜的key,与未数据倾斜的key的RDD分别进行连接操作后进行合并,当导致数据倾斜的key大于第四阈值,对RDD分别进行改变key值和扩容处理后进行连接操作。

    一种任务执行方法、装置、设备和计算机可读存储介质

    公开(公告)号:CN107797857A

    公开(公告)日:2018-03-13

    申请号:CN201711027518.4

    申请日:2017-10-27

    发明人: 张璐

    IPC分类号: G06F9/48

    CPC分类号: G06F9/4881 G06F2209/486

    摘要: 本发明实施例公开了一种任务执行方法、装置、设备和计算机可读存储介质,初始化任务调度对象;依据用户选择的第一任务的接口类型,调用预先设置的处理例程,执行第一任务;依据用户选择的第二任务的接口类型,调整系统的状态类型;当完成第一任务后,依据得到的返回结果以及系统的状态类型,对第二任务进行相应的处理。通过设置执行任务的接口,能够将任务的接收和处理过程分离,实现异步地触发任务的执行从而不会使得系统阻塞。并且依据第一任务的返回结果和系统的状态类型,对第二任务进行处理,能够适应任务间有依赖的情况,从而有效地保证存储系统的性能。并且该技术方案可以适用于不同的应用需求,其复用性和健壮性较强。

    一种任务处理方法、装置及系统

    公开(公告)号:CN107766129A

    公开(公告)日:2018-03-06

    申请号:CN201610681355.0

    申请日:2016-08-17

    发明人: 吴峥

    IPC分类号: G06F9/48

    摘要: 本发明实施例公开了一种任务处理方法、装置及系统,应用于任务调度节点的方法包括:获取目标任务;估算处理所述目标任务的处理时间,根据所述处理时间,确定所述目标任务的任务类型;将所述目标任务添加至所述任务类型对应的任务队列,以使每个任务处理节点根据自身处理任务的目标任务类型及任务数量信息表,从所有任务队列中确定目标任务队列;在所述目标任务队列中获取任务,对所获取的任务进行处理,其中,所述目标任务类型是由所述任务调度节点确定的,所述任务数量信息表由所述任务调度节点配置,用于存储各个任务队列的任务数量。应用本发明实施例,能够提高单位时间内对任务的整体处理能力。

    一种基于任务窃取的任务调度方法及系统

    公开(公告)号:CN107220111A

    公开(公告)日:2017-09-29

    申请号:CN201710290460.6

    申请日:2017-04-28

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本发明公开了一种基于任务窃取的任务调度方法及系统,该方法的实现包括:构造任务依赖图,将依赖节点作为回调函数注册至被依赖节点的回调容器中;为线程池中各线程分配一个无锁双端队列并置空,将根节点按照轮询方式放入各线程的无锁双端队列底部;若线程的无锁双端队列不为空,则从无锁双端队列底部取出节点并执行;若线程的无锁双端队列为空,则从其他线程的无锁双端队列顶部窃取节点,并将窃取的节点压入该线程的无锁双端队列底部,取出窃取的节点进行执行;在所有节点任务执行完成后,将任务依赖图中各节点的入度恢复到原始值,并结束对主线程的阻塞。本发明针对大型任务级并行应用程序,可以有效提高传统任务级并行应用程序的性能。

    一种基于时间片段的任务调度方法

    公开(公告)号:CN106598717A

    公开(公告)日:2017-04-26

    申请号:CN201611113867.3

    申请日:2016-12-07

    发明人: 何俊桦 王艳 朱洁

    IPC分类号: G06F9/48

    摘要: 本发明公开了一种基于时间片段的任务调度方法。其实现方法是:系统检测到有新任务到达或有任务结束时,立即对所有任务的任务参数重新初始化,然后将各个任务拆分成执行时间片段长短合理的子任务,并确定这些子任务的执行顺序以及执行这些子任务的处理器,最后更新任务调度表,根据新的任务调度表调度任务执行,并将任务执行完成的结束信息及时反馈给前述的任务参数初始化部分,促使它生成新的任务调度表。本发明可用于同构多处理器系统。

    一种众核系统的任务管理方法和装置

    公开(公告)号:CN104239134B

    公开(公告)日:2018-03-09

    申请号:CN201310248251.7

    申请日:2013-06-21

    IPC分类号: G06F9/48

    摘要: 本发明提供一种众核系统的任务管理方法和装置,涉及计算机领域,能够在众核系统中通过任务管理装置进行系统任务的调度管理,提高了众核系统进程管理效率。其方法为:当需要将进程加入到任务链表中,则将该进程的进程描述符指针添加到该进程对应的任务描述符项中,并将该任务描述符项添加到任务链表中;若需要删除进程,则查找到该进程对应的任务描述符项并将该任务描述符项从任务链表中移除;当处理器核需要新任务运行时,则将可用的优先级最高的优先级索引寄存器从该优先级索引寄存器队列中移除。本发明的实施例用于通过任务管理装置进行系统任务的调度管理。

    用于多核处理器的信号机
    10.
    发明公开

    公开(公告)号:CN107329810A

    公开(公告)日:2017-11-07

    申请号:CN201610273703.0

    申请日:2016-04-28

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本公开涉及用于多核处理器的信号机。多核处理器使用对不同核心维持单独访问请求队列的信号机管理其核心之间对访问共享资源的竞争并且使用可选择的调度算法准许待定请求,一次准许一个。信号机通过使用不是系统总线一部分的专用核心线路向其发送中断信号以用信号通知请求被准许的核心。随后将所准许的请求移出队列,并且核心响应于接收中断信号访问共享资源。使用用于将中断信号从信号机传输至核心的专用核心线路减轻在系统总线上重复轮询信号机的需要。使用调度算法有利地防止竞争核心之间的潜在竞争状况。