-
公开(公告)号:CN107943952B
公开(公告)日:2020-10-13
申请号:CN201711194929.2
申请日:2017-11-24
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/2452 , G06F16/22 , G06F16/2453 , G06F16/2455
Abstract: 本发明公开了一种基于Spark框架进行全文检索的实现方法,属于大数据处理领域。该方法首先接收待执行SQL语句,生成语法树并转换成相应的逻辑计划;然后,从Hive中获取检索所有表的元数据,寻找支持全文检索的字段,并通过字段哈希索引对数据块进行初步裁剪;继而,根据查询条件从文件元数据中获取数据块所具体存放的磁盘位置;最后,将逻辑执行计划转换为可分布式执行的任务集合,通过各个数据块位置来确定任务具体执行的目标节点和任务所具体执行的目标进程;对任务进行分发执行,并汇总执行结果,迭代获取最终结果。该方法具有较高的效率,可以快速的完成海量数据的全文检索,在大数据处理领域具有很强的实用性和应用范围,具有很广泛的应用前景。
-
公开(公告)号:CN109657108A
公开(公告)日:2019-04-19
申请号:CN201811391835.9
申请日:2018-11-21
Applicant: 长安通信科技有限责任公司 , 国家计算机网络与信息安全管理中心
Inventor: 司俊俊 , 羊晋 , 涂波 , 尚秋里 , 张慧琳 , 张英伟 , 张洛什 , 李少华 , 王楠 , 闻博 , 梅锋 , 程晶玻 , 丛珊 , 王永清 , 康春建 , 刘鑫沛 , 刘丙双 , 戴帅夫 , 张建宇
IPC: G06F16/9032 , G06F16/901 , H04L29/12
Abstract: 本发明提供一种域名资产数据存储和查询方法和系统。该方法包括:根据域名的结构对域名进行切分,分成二级域名部分、域名前缀部分;对切分得到的二级域名部分、域名前缀部分与域名对应的解析IP,分别进行哈希计算,得到三段字符串;对所述三段字符串中的每一段字符串选取特定长度的字符,使用连接字符进行拼接组合,形成不同组合的字符串;根据业务需要,将不同组合的字符串携带相应的信息,存入到Hbase表中;进而利用Hbase数据库对域名资产数据进行快速的查询。本发明能够达到在亿级海量数据中进行快速查询的目的。
-
公开(公告)号:CN118484784A
公开(公告)日:2024-08-13
申请号:CN202410478155.X
申请日:2024-04-19
Applicant: 国家计算机网络与信息安全管理中心 , 信联科技(南京)有限公司 , 北京持安科技有限公司
Abstract: 本申请涉及一种违规行为的审计方法、装置、电子设备及存储介质,方法包括:在基于UKEY设备确定对用户的身份认证成功后,若在使用终端过程中存在违规行为,根据违规行为,生成违规行为日志,UKEY设备与终端连接;根据终端私钥和第一用户私钥对违规行为日志进行协同签名,以得到违规行为日志对应的签名值,终端私钥由所述终端生成,第一用户私钥由UKEY设备生成;将违规行为日志与签名值之间的对应关系发送至审计系统中的审计服务器,以使得审计服务器存储违规行为日志与签名值之间的对应关系。本申请实现了UKEY设备、终端及违规行为日志之间的多维度绑定,既避免了违规行为日志被篡改又避免了影响后续的审计效率。
-
公开(公告)号:CN107920253B
公开(公告)日:2020-08-18
申请号:CN201711047172.4
申请日:2017-10-31
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: H04N19/42 , H04N19/436 , H04N19/44 , H04N19/40
Abstract: 本发明公开了一种基于GPU的视频处理方法,涉及音视频处理技术领域。首先从视频数据源端接收视频数据并存储在缓存队列中,依次读取视频数据进行解封装处理;然后对解封装处理后格式为H.264的视频数据,按顺序读取一帧,并解码为YUV格式数据;将解码出来的YUV数据进行内存映射,并转化为NV12格式后,利用视频转码模块再次转换为YUV420p格式;并分别计算YUV420p格式视频数据的Y分量和UV分量的特征值;最后将两个特征值拷贝到CPU侧的系统内存中,并筛选关键帧。筛选出的关键帧利用基于opencl的CPU和GPU之间的内存拷贝技术拷贝到CPU侧的系统内存中,由存储专用线程将关键帧的YUV数存储到文件。本发明实现了视频处理的加速,提升了视频处理的效率,并有效降低了CPU的资源消耗。
-
公开(公告)号:CN110008244A
公开(公告)日:2019-07-12
申请号:CN201910247726.8
申请日:2019-03-29
Applicant: 国家计算机网络与信息安全管理中心 , 北京天融信网络安全技术有限公司 , 北京天融信科技有限公司 , 北京天融信软件有限公司 , 北京天融信安全技术有限公司
IPC: G06F16/2455 , G06F16/2453
Abstract: 本申请实施例公开了一种数据查询方法及数据查询装置,所述方法包括:获取数据查询信息;分析所述数据查询信息,并分解得到子查询信息;确定用以查询所述子查询信息的存储引擎;以第一预设算法对所述子查询信息进行第一处理,并发送进行了所述第一处理后的子查询信息至所述存储引擎;接收所述存储引擎反馈的子查询结果;对所述子查询结果进行第二处理,得到查询结果。其能够通过对数据查询信息的分解,充分利用存储引擎对分解后进行了第一处理的子查询信息的查询优势,快速查询得到相应子查询信息的子查询结果,进而提高对数据查询信息的查询性能以及分析效率。
-
公开(公告)号:CN109698820A
公开(公告)日:2019-04-30
申请号:CN201811391153.8
申请日:2018-11-21
Applicant: 长安通信科技有限责任公司 , 国家计算机网络与信息安全管理中心
Inventor: 司俊俊 , 羊晋 , 涂波 , 尚秋里 , 张慧琳 , 张英伟 , 张洛什 , 李少华 , 王楠 , 闻博 , 梅锋 , 程晶玻 , 丛珊 , 王永清 , 康春建 , 刘鑫沛 , 刘丙双 , 戴帅夫 , 张建宇
Abstract: 本发明提供一种域名相似性计算及分类方法和系统。该方法包括:1)采集并获取海量域名访问日志;2)对获取的海量域名访问日志进行数据清洗;3)对清洗后的域名访问日志中的域名进行特征向量化;4)基于域名特征向量计算域名相似性;5)基于域名相似性对域名进行分类。具体地,利用图数据库对域名及其特征向量进行存储,利用图算法对域名进行分类。本发明能够处理海量域名日志,并对其进行相似性计算、检索和分类,对于病毒发现、恶意网络攻击检测等具有重要意义。
-
公开(公告)号:CN107943952A
公开(公告)日:2018-04-20
申请号:CN201711194929.2
申请日:2017-11-24
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种基于Spark框架进行全文检索的实现方法,属于大数据处理领域。该方法首先接收待执行SQL语句,生成语法树并转换成相应的逻辑计划;然后,从Hive中获取检索所有表的元数据,寻找支持全文检索的字段,并通过字段哈希索引对数据块进行初步裁剪;继而,根据查询条件从文件元数据中获取数据块所具体存放的磁盘位置;最后,将逻辑执行计划转换为可分布式执行的任务集合,通过各个数据块位置来确定任务具体执行的目标节点和任务所具体执行的目标进程;对任务进行分发执行,并汇总执行结果,迭代获取最终结果。该方法具有较高的效率,可以快速的完成海量数据的全文检索,在大数据处理领域具有很强的实用性和应用范围,具有很广泛的应用前景。
-
公开(公告)号:CN107832694A
公开(公告)日:2018-03-23
申请号:CN201711047162.0
申请日:2017-10-31
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
CPC classification number: G06K9/00744 , G06F16/783
Abstract: 本发明公开了一种视频关键帧提取算法,属于信息安全技术领域。该算法首先计算当前输入视频流中某帧的水平方向的黑边宽度和垂直方向的黑边高度,以及该帧有效图像区域的宽度和高度;然后计算该帧的有效图像区域的特征信息,并与上一帧比较,计算差异度;差异度大于阈值时,将该差异帧中的数据与缓存区中的每帧数据分别比较,计算该帧的相似度;该差异帧的相似度大于阈值时,将该差异帧与缓存区中的该某帧视为相似,将非差异帧计数加1,达到非差异帧累计数最大值,输出该帧为差异帧并写入缓存区,统计该帧的Y值的方差值和UV值的方差值,并输出关键帧和空白帧。本发明算法通过C语言实现,可应用于多视频多线程的调用,适应性强,高效快速。
-
-
-
-
-
-
-