一种网络数据获取方法、电子设备及存储介质

    公开(公告)号:CN116405321A

    公开(公告)日:2023-07-07

    申请号:CN202310645435.0

    申请日:2023-06-02

    IPC分类号: H04L9/40 G06F21/62

    摘要: 本发明提供了一种网络数据获取方法、电子设备及存储介质,包括:获取目标数据类型信息和N个用户信息;根据N个用户信息和目标数据类型信息生成M个数据获取任务信息,每一数据获取任务信息包括访问请求和配置信息;M≥N;其中,访问请求根据所述用户信息生成,配置信息根据目标数据类型信息生成;将M个数据获取任务信息发送至外网服务器,以使外网服务器根据每一个数据获取任务信息中的配置信息将对应的访问请求发送至目标数据源,得到各数据获取任务信息对应的目标数据;目标数据源为能够提供目标数据的数据源;目标数据源根据目标数据类型信息确定;接收来自外网服务器返回的目标数据;该方法能够有效地降低个人重要数据泄露的风险。

    网络数据采集系统
    2.
    发明授权

    公开(公告)号:CN113590988B

    公开(公告)日:2021-12-14

    申请号:CN202111167751.9

    申请日:2021-10-08

    IPC分类号: G06F16/955 G06F16/958

    摘要: 本发明涉及一种网络数据采集系统,实现步骤S1、获取网络数据采集任务对应的url参数、请求方式和请求参数,根据所述动态参数数据结构生成任务动态参数数据体,存入请求处理数据结构中的动态参数数据段中;步骤S2、调用所述请求处理数据结构中的请求处理函数,从所述任务动态参数数据体中获取动态参数数据填入所述请求主体数据段中生成任务请求主体;步骤S3、基于所述任务请求主体采集目标网络数据。本发明所述系统能够适用于多个业务场景的数据采集,减少网络数据采集的开发和维护成本,提高网络数据采集的效率。

    一种事件流数据字段补全方法、电子设备及存储介质

    公开(公告)号:CN118363993A

    公开(公告)日:2024-07-19

    申请号:CN202410482229.7

    申请日:2024-04-22

    摘要: 本发明提供了一种事件流数据字段补全方法、电子设备及存储介质,涉及事件流数据字段补全领域,所述方法包括:获取每一数据源发送的原始报文对应的标准字段列表,以得到标准字段列表集D;遍历Dr,若Dr,p为预设的主键字段,则获取Dr,p,以得到Dr对应的第一主键字段列表ZDr;遍历ZDr,若ZDr,a为预设的证件号字段,则获取ZDr,a对应的证件号HDr,a;根据HDr,a和预设的数据库映射表,确定Dr对应的用户数据所对应的数据库QDr;其中,预设的数据库映射表包括若干数据库以及每一数据库对应的证件号;将QDr中的目标主键字段以及对应的字段值添加至ZDr中;本发明能够提高业务平台信息展示的完整性。

    人流量预测方法、装置、计算机设备及存储介质

    公开(公告)号:CN112418567A

    公开(公告)日:2021-02-26

    申请号:CN202110084876.9

    申请日:2021-01-22

    摘要: 本申请提供了一种人流量预测方法、装置、计算机设备及存储介质,涉及人流量预测技术领域,用于提高人流量预测的精度及准确度。方法主要包括:获取各个公共地理区域的历史人流量数据和公共地理区域相互之间的距离数据;根据所述历史人流量数据和/或所述距离数据构建邻接矩阵,所述邻接矩阵用于表示各个公共地理区域之间的连接关系;根据所述各个公共地理区域的历史人流量数据以及所述邻接矩阵,及人流量预测模型预测各个公共地理区域在预置时间段的人流量,所述人流量预测模型预测是根据样本人流量数据、样本邻接矩阵,以及对应的人流量标签训练得到的。

    基于舆情分析的航班监控预警系统和方法

    公开(公告)号:CN111611385A

    公开(公告)日:2020-09-01

    申请号:CN202010459165.0

    申请日:2020-05-27

    摘要: 本发明提供了基于舆情分析的航班监控预警系统和方法。本发明全网实时监控航班舆情信息;预处理航班舆情文本,获得舆情的准确航班舆情类别及发源地;将文本聚类,把不同源的同一航班舆情进行聚合,整合航班特殊舆情发生原因、发生地区;利用热度算法,筛选热点航班舆情,进行预警发送;统计不同地区航班舆情,达到区域航空大舆情监控预警功能;通过分布式爬虫,持续监控热点航班舆情处理过程,计算热度变化趋势;利用情感分类模型,实时分析航班舆情的情感导向,及时重点预警负面舆论舆情。本发明给出航班舆情发生原因、地区、舆论情感导向,持续追踪热点航班舆情进度,从而达到对航班重要动态舆情的预警目的。

    网络数据采集系统
    6.
    发明公开

    公开(公告)号:CN113590988A

    公开(公告)日:2021-11-02

    申请号:CN202111167751.9

    申请日:2021-10-08

    IPC分类号: G06F16/955 G06F16/958

    摘要: 本发明涉及一种网络数据采集系统,实现步骤S1、获取网络数据采集任务对应的url参数、请求方式和请求参数,根据所述动态参数数据结构生成任务动态参数数据体,存入请求处理数据结构中的动态参数数据段中;步骤S2、调用所述请求处理数据结构中的请求处理函数,从所述任务动态参数数据体中获取动态参数数据填入所述请求主体数据段中生成任务请求主体;步骤S3、基于所述任务请求主体采集目标网络数据。本发明所述系统能够适用于多个业务场景的数据采集,减少网络数据采集的开发和维护成本,提高网络数据采集的效率。

    一种疫情数据处理系统
    7.
    发明公开

    公开(公告)号:CN113076328A

    公开(公告)日:2021-07-06

    申请号:CN202110634366.4

    申请日:2021-06-08

    摘要: 本发明涉及一种疫情数据处理系统,包括疫情数据库、处理器和存储有计算机程序的存储器,疫情数据库包括第一数据表、第二数据表和第三数据表,第一数据表用于存储并动态更新旅客疫情数据记录,所述旅客疫情数据记录包括旅客id、异常行程id、异常状态值、更新时间和信息渠道字段;第二数据表用于存储旅客行程记录,所述旅客行程记录包括旅客id、行程id、座位id、行程时间、出发地id、到达地id字段;第三数据表用于存储旅客id和座位id的关联关系记录,包括旅客id、行程id和座位id数据对所对应的第一等级关联关系行程id和座位id数据对集合,以及第二等级关联关系行程id和座位id数据对集合。本发明提高了疫情数据的更新效率和准确度。

    人流量预测方法、装置、计算机设备及存储介质

    公开(公告)号:CN112418567B

    公开(公告)日:2021-05-18

    申请号:CN202110084876.9

    申请日:2021-01-22

    摘要: 本申请提供了一种人流量预测方法、装置、计算机设备及存储介质,涉及人流量预测技术领域,用于提高人流量预测的精度及准确度。方法主要包括:获取各个公共地理区域的历史人流量数据和公共地理区域相互之间的距离数据;根据所述历史人流量数据和/或所述距离数据构建邻接矩阵,所述邻接矩阵用于表示各个公共地理区域之间的连接关系;根据所述各个公共地理区域的历史人流量数据以及所述邻接矩阵,及人流量预测模型预测各个公共地理区域在预置时间段的人流量,所述人流量预测模型预测是根据样本人流量数据、样本邻接矩阵,以及对应的人流量标签训练得到的。

    提取网页页面目标信息的方法、电子设备和介质

    公开(公告)号:CN112559929A

    公开(公告)日:2021-03-26

    申请号:CN202110207419.4

    申请日:2021-02-25

    IPC分类号: G06F16/957 G06F16/31

    摘要: 本发明涉及一种提取网页页面目标信息的方法、电子设备和介质,方法包括步骤S1、获取待提取网页页面的HTML代码,并构建树形结构;步骤S2、遍历所述树形结构,获取标题节点文本数据,并获取每一内容节点的特征信息;步骤S3、基于所有内容节点的路径信息将所有内容节点分组;步骤S4、根据标题节点文本数据和每一分组中的内容节点的特征信息从分组中确定目标分组;步骤S5、将目标分组的内容节点作为待分析节点,判断待分析节点中是否包括目标信息,若是,则从待分析节点中获取目标信息,否则,将待分析节点的父节点和待分析节点的父节点连接的分组节点升格为待分析节点,直至获取到目标信息。本发明提高了网页页面目标信息提取的准确度和效率。

    一种网络数据获取方法、电子设备及存储介质

    公开(公告)号:CN116405321B

    公开(公告)日:2023-08-15

    申请号:CN202310645435.0

    申请日:2023-06-02

    IPC分类号: H04L9/40 G06F21/62

    摘要: 本发明提供了一种网络数据获取方法、电子设备及存储介质,包括:获取目标数据类型信息和N个用户信息;根据N个用户信息和目标数据类型信息生成M个数据获取任务信息,每一数据获取任务信息包括访问请求和配置信息;M≥N;其中,访问请求根据所述用户信息生成,配置信息根据目标数据类型信息生成;将M个数据获取任务信息发送至外网服务器,以使外网服务器根据每一个数据获取任务信息中的配置信息将对应的访问请求发送至目标数据源,得到各数据获取任务信息对应的目标数据;目标数据源为能够提供目标数据的数据源;目标数据源根据目标数据类型信息确定;接收来自外网服务器返回的目标数据;该方法能够有效地降低个人重要数据泄露的风险。