基于流计算的大规模数据处理方法及装置

    公开(公告)号:CN115269218A

    公开(公告)日:2022-11-01

    申请号:CN202210691674.5

    申请日:2022-06-17

    Abstract: 本发明提供了一种基于流计算的大规模数据处理方法及装置,所述方法包括:建立数据提供方与数据处理方之间的HTTP服务,所述HTTP服务将HTTP协议消息体中的数据转换为二进制数据包;将二进制数据包发送到Kafka消息队列;在Flink计算框架的构造消费者程序的流程中创建一个反序列化器,以构建新Flink计算框架;基于所述新Flink计算框架,对所述Kafka消息队列进行数据处理,以得到数据处理结果。本发明降低流数据处理系统的数据接入难度,提高整个数据处理系统的吞吐量。

    一种App个人信息上传行为检测方法、设备及产品

    公开(公告)号:CN118013512B

    公开(公告)日:2024-06-25

    申请号:CN202410410627.8

    申请日:2024-04-08

    Abstract: 本发明公开一种App个人信息上传行为检测方法、设备及产品,涉及上传行为检测领域,方法包括当通过黑盒测试确定敏感权限调用情况及流量大小为异常行为线索后,自动化运行当前App,拦截网络流量包;通过执行回调操作加密函数的方法确定运行当前App后加密前后的明密文对信息;将加密后的密文信息与网络流量包中的密文信息进行比对,实现当前App个人信息上传行为的取证;利用同款App不同版本的函数调用栈和加密函数的代码相似性,构造函数原型;根据函数原型执行回调操作敏感函数调用和加密函数的定位;进行当前版本App个人信息上传行为的取证。本发明能够实现对于Android应用个人信息上传行为分析取证及提高分析人员工作效率。

    一种SDK隐私函数调用管控方法、设备、介质及产品

    公开(公告)号:CN118012541A

    公开(公告)日:2024-05-10

    申请号:CN202410423861.4

    申请日:2024-04-10

    Abstract: 本发明提供了一种SDK隐私函数调用管控方法、设备、介质及产品,涉及隐私函数调用领域,方法包括:采用字节码遍历解析模块遍历App中所有字节码文件,解析每个字节码文件,确定属性和函数信息;利用隐私函数管控设置模块构建隐私函数管控列表文件;利用违规调用系统函数代码发现模块将所述属性和函数信息与隐私函数管控列表文件进行逐一比对,筛选出违规调用系统隐私函数接口的函数;利用违规调用系统函数替换修改模块将已发现的违规调用系统隐私函数接口的函数进行修改,并替换为合规收口函数;在所述合规收口函数中添加管控逻辑,对需要管控的SDK违规隐私函数调用行为进行管控。本发明能够规范SDK系统隐私函数访问行为。

    链接去重方法、装置、设备及存储介质

    公开(公告)号:CN115186204A

    公开(公告)日:2022-10-14

    申请号:CN202210639735.3

    申请日:2022-06-08

    Abstract: 本发明属于通讯领域,公开了一种链接去重方法、装置、设备及存储介质。该方法包括:获取待下载链接,对所述待下载链接进行格式化,获得格式化链接;将所述格式化链接与预设链接模式库中存放的链接模板进行匹配,获得匹配结果;根据匹配结果判断是否对所述格式化链接进行去重操作。由于本发明是将格式化链接与预设链接模式库中存放的链接模板进行匹配,获得匹配结果;根据匹配结果判断是否对格式化链接进行去重操作。相对于现有的接收到下载链接直接进行资源下载的方式,本发明上述方式能够对下载链接进行去重操作,减少资源的重复下载,保证下载资源的质量。

Patent Agency Ranking