一种分布式链表的数据采集方法、装置、电子设备
摘要:
本申请实施例公开了一种分布式链表的数据采集方法和装置,属于数据采集技术领域,能够解决采集数据效率低的问题。包括:接收由任务主机发送的单向链表中的第一任务组节点的请求任务;第一任务组节点的请求任务包括:请求采集第一任务组节点中子任务的任务数据的任务;若第一任务组节点的请求任务带有双向链表,从双向链表的尾部取出第一子任务;执行第一子任务,得到第一子任务的执行结果信息,第一子任务的执行结果信息包括:第一子任务的任务数据、状态信息以及对应的下一子任务的请求任务中的一种或多种;在第一子任务的执行结果信息中未带有对应的下一子任务的请求任务的情况下,采集第一子任务对应的双向链表中的任务数据并存储至数据库。
0/0