账号资源管理装置、方法及数据采集系统、方法

    公开(公告)号:CN111083136B

    公开(公告)日:2022-03-08

    申请号:CN201911275230.8

    申请日:2019-12-12

    Abstract: 本公开涉及一种账号资源管理装置、方法及数据采集系统、方法。本公开提供的技术方案,对于每个账号使用不同的固定登录IP、登录Header信息进行模拟登录,在登录后将获得的Cookie信息与所述登录IP和登录Header信息关联存储,以模拟一个用户在一个地方使用固定浏览器上网,避免出现一个账号、cookie对应多个IP及单个IP被大量用户使用的情况,从而避免受到浏览拦截限制。并且,每一账号登录模块与一下载解析服务节点对应且与一组登录IP对应,从而可以通过控制每个下载解析服务节点对应的登录IP分配,以实现控制多个下载解析服务节点的负载均衡。

    一种基于大数据技术的人口基础数据库

    公开(公告)号:CN110134667B

    公开(公告)日:2021-08-10

    申请号:CN201910342834.3

    申请日:2019-04-26

    Abstract: 本发明公开了一种基于大数据技术的人口基础数据库,包括DataX组件、Phoenix层和HIVE人口数据库;DataX组件用于实现数据的导入和导出,Phoenix层用于对外提供API数据查询服务;HIVE人口数据库用于接收、处理和存储来自外部的政务系统的人口数据,具体包括STG缓冲层、FDM基础层、IDM整合层、ADM集市层。本发明使用大数据技术架构,大大提升了人口基础数据库的数据容量,提高了性能并且更加易于扩展。

Patent Agency Ranking