一种针对动态网页的爬取方法、装置及电子设备

    公开(公告)号:CN111931024A

    公开(公告)日:2020-11-13

    申请号:CN202010661854.X

    申请日:2020-07-10

    Abstract: 本发明实施例提供了一种针对动态网页的爬取方法、装置及电子设备,应用于计算机技术领域。该爬取方法包括:获取待爬取的目标页面对应的应用程序接口API,所述目标页面对应的API为用于从所述目标页面对应的数据库中调用动态数据的应用程序接口,所述动态数据为所述目标页面中实时更新的数据;通过访问所述目标页面对应的API,从所述目标页面对应的数据库中获取所述动态数据。可见,本方案,通过所述目标页面对应的API,能够直接从所述目标页面对应的数据库中调用动态数据,简化了获取动态数据的操作过程,解决了在获取动态页面的页面数据时,由于操作过程复杂造成的效率较低的问题。

    一种数据调度方法、装置、电子设备及可读存储介质

    公开(公告)号:CN109981487B

    公开(公告)日:2020-10-27

    申请号:CN201910237431.2

    申请日:2019-03-27

    Abstract: 本发明实施例提供了一种数据调度方法、装置、电子设备及可读存储介质,应用于数据处理技术领域,所述方法包括:根据预设调度算法,分别计算终端设备在当前时刻缓存中的数据队列长度、虚拟队列长度以及时间意识队列长度;若虚拟队列长度大于缓存中的数据队列长度,使终端设备采集数据并存储至缓存中;若数据队列长度和时间意识队列长度之和大于预设控制参数与预设丢弃数据的惩罚因子的乘积,计算终端设备在当前时刻丢弃的数据量,使终端设备根据当前时刻所分配的传输速率,按照缓存中数据队列的顺序,将缓存中与所分配传输速率相等数据量的数据传输至网络,将缓存中与丢弃的数据量相等的数据丢弃。本发明可提高数据的新鲜度。

    一种数据调度方法、装置、电子设备及可读存储介质

    公开(公告)号:CN109981487A

    公开(公告)日:2019-07-05

    申请号:CN201910237431.2

    申请日:2019-03-27

    Abstract: 本发明实施例提供了一种数据调度方法、装置、电子设备及可读存储介质,应用于数据处理技术领域,所述方法包括:根据预设调度算法,分别计算终端设备在当前时刻缓存中的数据队列长度、虚拟队列长度以及时间意识队列长度;若虚拟队列长度大于缓存中的数据队列长度,使终端设备采集数据并存储至缓存中;若数据队列长度和时间意识队列长度之和大于预设控制参数与预设丢弃数据的惩罚因子的乘积,计算终端设备在当前时刻丢弃的数据量,使终端设备根据当前时刻所分配的传输速率,按照缓存中数据队列的顺序,将缓存中与所分配传输速率相等数据量的数据传输至网络,将缓存中与丢弃的数据量相等的数据丢弃。本发明可提高数据的新鲜度。

    一种待修复链路的确定方法及装置

    公开(公告)号:CN113065093B

    公开(公告)日:2022-07-12

    申请号:CN202110275642.2

    申请日:2021-03-15

    Abstract: 本发明实施例提供了一种待修复链路的确定方法及装置,计算获取的当前的目标函数的最优解,作为当前的目标最优解;基于当前的目标最优解,计算当前的目标最优解对应的当前的目标函数的第一函数值,以及当前的目标函数的最大值,作为第二函数值;如果第一函数值和第二函数值满足预设收敛条件,基于当前的目标最优解,确定当前的待修复链路;如果第一函数值和第二函数值不满足预设收敛条件,基于当前的目标最优解,确定当前的数据丢弃决策向量、当前的流分配向量和当前的节点实际计算量向量,以更新当前的目标函数,并执行计算当前的目标函数的最优解,作为当前的目标最优解的步骤。基于上述处理,可以提高目标边缘计算网络处理计算任务的成功率。

    一种数据调度方法及装置

    公开(公告)号:CN110399218B

    公开(公告)日:2021-09-21

    申请号:CN201910651497.6

    申请日:2019-07-18

    Inventor: 田辉 伍浩 吕昕晨

    Abstract: 本发明实施例提供了一种数据调度方法及装置,该方法包括:获取每个第一数据采集设备所发送的信道检测信息和第一数据量;确定具有强储能能力的第一数据采集设备的第一电能和第二电能,确定数据处理设备中存储的第二数据量;基于第一数据量、第二数据量、第一电能、第二电能、数据处理设备的能量发射功率、信道检测信息、信道容量计算式和预设的资源优化函数,计算当资源优化函数取得最小值时第一比值、第二比值及具有强储能能力的第一数据采集设备上传数据的发射功率;在根据第一比值对第一数据采集设备进行无线充电之后,根据第二比值和发射功率对上行数据进行调度。这样,可以保障数据采集设备上传数据的公平性。

    一种数据调度方法及装置

    公开(公告)号:CN110399218A

    公开(公告)日:2019-11-01

    申请号:CN201910651497.6

    申请日:2019-07-18

    Inventor: 田辉 伍浩 吕昕晨

    Abstract: 本发明实施例提供了一种数据调度方法及装置,该方法包括:获取每个第一数据采集设备所发送的信道检测信息和第一数据量;确定具有强储能能力的第一数据采集设备的第一电能和第二电能,确定数据处理设备中存储的第二数据量;基于第一数据量、第二数据量、第一电能、第二电能、数据处理设备的能量发射功率、信道检测信息、信道容量计算式和预设的资源优化函数,计算当资源优化函数取得最小值时第一比值、第二比值及具有强储能能力的第一数据采集设备上传数据的发射功率;在根据第一比值对第一数据采集设备进行无线充电之后,根据第二比值和发射功率对上行数据进行调度。这样,可以保障数据采集设备上传数据的公平性。

    一种基于数据队列长度的数据调度方法、装置及系统

    公开(公告)号:CN109347763B

    公开(公告)日:2021-11-05

    申请号:CN201811054783.6

    申请日:2018-09-11

    Abstract: 本发明实施例提供了一种基于数据队列长度的数据调度方法、系统及装置,所述方法包括:根据网络拓扑结构确定网络中的各目的节点,其中,目的节点包括边缘节点及终端;根据预设调度算法,确定各目的节点对应的数据队列的虚拟数据值,其中,虚拟数据值大于0;设置各目的节点的数据队列的虚拟数据值,以使各目的节点将所对应的虚拟数据值与实际存储数据量之和作为数据队列的总数据量,并基于该总数据量进行数据处理。由于各目的节点的虚拟数据值并不占用存储空间,且各网络节点将虚拟数据值与实际存储数据量之和作为数据队列的总数据量,这样在实际到达数据的数据量未满足阈值条件时便开始向网络的上一层传输数据,提高网络工作效率。

    一种待修复链路的确定方法及装置

    公开(公告)号:CN113065093A

    公开(公告)日:2021-07-02

    申请号:CN202110275642.2

    申请日:2021-03-15

    Abstract: 本发明实施例提供了一种待修复链路的确定方法及装置,计算获取的当前的目标函数的最优解,作为当前的目标最优解;基于当前的目标最优解,计算当前的目标最优解对应的当前的目标函数的第一函数值,以及当前的目标函数的最大值,作为第二函数值;如果第一函数值和第二函数值满足预设收敛条件,基于当前的目标最优解,确定当前的待修复链路;如果第一函数值和第二函数值不满足预设收敛条件,基于当前的目标最优解,确定当前的数据丢弃决策向量、当前的流分配向量和当前的节点实际计算量向量,以更新当前的目标函数,并执行计算当前的目标函数的最优解,作为当前的目标最优解的步骤。基于上述处理,可以提高目标边缘计算网络处理计算任务的成功率。

    一种基于数据队列长度的数据调度方法、装置及系统

    公开(公告)号:CN109347763A

    公开(公告)日:2019-02-15

    申请号:CN201811054783.6

    申请日:2018-09-11

    Abstract: 本发明实施例提供了一种基于数据队列长度的数据调度方法、系统及装置,所述方法包括:根据网络拓补结构确定网络中的各目的节点,其中,目的节点包括边缘节点及终端;根据预设调度算法,确定各目的节点对应的数据队列的虚拟数据值,其中,虚拟数据值大于0;设置各目的节点的数据队列的虚拟数据值,以使各目的节点将所对应的虚拟数据值与实际存储数据量之和作为数据队列的总数据量,并基于该总数据量进行数据处理。由于各目的节点的虚拟数据值并不占用存储空间,且各网络节点将虚拟数据值与实际存储数据量之和作为数据队列的总数据量,这样在实际到达数据的数据量未满足阈值条件时便开始向网络的上一层传输数据,提高网络工作效率。

Patent Agency Ranking