基于流计算的大规模数据处理方法及装置

    公开(公告)号:CN115269218A

    公开(公告)日:2022-11-01

    申请号:CN202210691674.5

    申请日:2022-06-17

    Abstract: 本发明提供了一种基于流计算的大规模数据处理方法及装置,所述方法包括:建立数据提供方与数据处理方之间的HTTP服务,所述HTTP服务将HTTP协议消息体中的数据转换为二进制数据包;将二进制数据包发送到Kafka消息队列;在Flink计算框架的构造消费者程序的流程中创建一个反序列化器,以构建新Flink计算框架;基于所述新Flink计算框架,对所述Kafka消息队列进行数据处理,以得到数据处理结果。本发明降低流数据处理系统的数据接入难度,提高整个数据处理系统的吞吐量。

    基于特定企业域名数据的用户及服务器IP地址标定装置及方法

    公开(公告)号:CN110324327B

    公开(公告)日:2021-07-13

    申请号:CN201910537333.0

    申请日:2019-06-20

    Abstract: 本发明提出一种基于特定企业域名数据的用户及服务器IP地址标定装置及方法,属于通信技术领域。本发明装置在处理机上设置有数据采集、清理、存储模块、流数据处理模块、域名数据处理模块、融合标定模块等。本发明方法采集企业私有路由的流数据和私有DNS域名数据,进行清理和存储后,分别对两部分数据根据提取的IP行为特征计算IP类型与置信度,分别存入两个标定库中,对两个标定库中均有的IP进行融合标定,然后流量分析和监管时,根据标定的类型进行流量处理、白名单设置等。本发明标定速度快,可实现实时标定,标定结果准确,为后面流量分析和监控提供有力数据基础。

    基于特定企业域名数据的用户及服务器IP地址标定装置及方法

    公开(公告)号:CN110324327A

    公开(公告)日:2019-10-11

    申请号:CN201910537333.0

    申请日:2019-06-20

    Abstract: 本发明提出一种基于特定企业域名数据的用户及服务器IP地址标定装置及方法,属于通信技术领域。本发明装置在处理机上设置有数据采集、清理、存储模块、流数据处理模块、域名数据处理模块、融合标定模块等。本发明方法采集企业私有路由的流数据和私有DNS域名数据,进行清理和存储后,分别对两部分数据根据提取的IP行为特征计算IP类型与置信度,分别存入两个标定库中,对两个标定库中均有的IP进行融合标定,然后流量分析和监管时,根据标定的类型进行流量处理、白名单设置等。本发明标定速度快,可实现实时标定,标定结果准确,为后面流量分析和监控提供有力数据基础。

    基于社交应用信息传播模式的评估方法及系统

    公开(公告)号:CN104408659A

    公开(公告)日:2015-03-11

    申请号:CN201410592639.3

    申请日:2014-10-29

    CPC classification number: G06Q50/01 G06Q10/0635

    Abstract: 本发明公开了一种基于社交应用信息传播模式的评估方法及系统。该方法包括:对社交应用的信息传播过程进行分析和抽象,建立社交应用信息传播模式;基于社交应用信息传播模式,按照层次关系将社交应用信息传播风险分解为各项因素,并根据各项因素间的相互关系将各项因素按照层次关系进行聚集组合,生成虚假信息传播风险评估模型;其中,虚假信息传播风险评估模型的层次关系具体包括:系统层、实体层、以及风险点层;以虚假信息传播风险评估模型的风险点层中的风险点为基础原始数据,对该社交应用面临的虚假信息传播威胁进行评估。

    一种App个人信息上传行为检测方法、设备及产品

    公开(公告)号:CN118013512B

    公开(公告)日:2024-06-25

    申请号:CN202410410627.8

    申请日:2024-04-08

    Abstract: 本发明公开一种App个人信息上传行为检测方法、设备及产品,涉及上传行为检测领域,方法包括当通过黑盒测试确定敏感权限调用情况及流量大小为异常行为线索后,自动化运行当前App,拦截网络流量包;通过执行回调操作加密函数的方法确定运行当前App后加密前后的明密文对信息;将加密后的密文信息与网络流量包中的密文信息进行比对,实现当前App个人信息上传行为的取证;利用同款App不同版本的函数调用栈和加密函数的代码相似性,构造函数原型;根据函数原型执行回调操作敏感函数调用和加密函数的定位;进行当前版本App个人信息上传行为的取证。本发明能够实现对于Android应用个人信息上传行为分析取证及提高分析人员工作效率。

    一种SDK隐私函数调用管控方法、设备、介质及产品

    公开(公告)号:CN118012541A

    公开(公告)日:2024-05-10

    申请号:CN202410423861.4

    申请日:2024-04-10

    Abstract: 本发明提供了一种SDK隐私函数调用管控方法、设备、介质及产品,涉及隐私函数调用领域,方法包括:采用字节码遍历解析模块遍历App中所有字节码文件,解析每个字节码文件,确定属性和函数信息;利用隐私函数管控设置模块构建隐私函数管控列表文件;利用违规调用系统函数代码发现模块将所述属性和函数信息与隐私函数管控列表文件进行逐一比对,筛选出违规调用系统隐私函数接口的函数;利用违规调用系统函数替换修改模块将已发现的违规调用系统隐私函数接口的函数进行修改,并替换为合规收口函数;在所述合规收口函数中添加管控逻辑,对需要管控的SDK违规隐私函数调用行为进行管控。本发明能够规范SDK系统隐私函数访问行为。

    一种确定APP责任主体的方法及系统

    公开(公告)号:CN112257032B

    公开(公告)日:2023-07-14

    申请号:CN202011041584.9

    申请日:2020-09-28

    Abstract: 本发明提供了一种确定APP责任主体的方法及系统,属于应用程序APP资源管理技术领域。本发明系统包括配置模块、数据采集模块、域名提取模块以及数据分析模块。本发明方法包括:配置爬取任务并下发;对接收到的爬取任务进行解析,开启爬虫进程采集应用信息;域名提取模块启动APK分析程序;从URL链接中提取域名,过滤掉第三方SDK库中的域名;启动爬虫进程,根据域名爬取网站信息以及网站的企业主体;数据分析模块统计各域名出现的次数,分析APP责任主体。本发明能有效实现自动化分析以及主动获取APP责任主体,从多源来获取APP的潜在责任主体信息,可从隐藏的信息中发现责任主体,提高了发现责任主体信息的效率。

    链接去重方法、装置、设备及存储介质

    公开(公告)号:CN115186204A

    公开(公告)日:2022-10-14

    申请号:CN202210639735.3

    申请日:2022-06-08

    Abstract: 本发明属于通讯领域,公开了一种链接去重方法、装置、设备及存储介质。该方法包括:获取待下载链接,对所述待下载链接进行格式化,获得格式化链接;将所述格式化链接与预设链接模式库中存放的链接模板进行匹配,获得匹配结果;根据匹配结果判断是否对所述格式化链接进行去重操作。由于本发明是将格式化链接与预设链接模式库中存放的链接模板进行匹配,获得匹配结果;根据匹配结果判断是否对格式化链接进行去重操作。相对于现有的接收到下载链接直接进行资源下载的方式,本发明上述方式能够对下载链接进行去重操作,减少资源的重复下载,保证下载资源的质量。

Patent Agency Ranking