-
公开(公告)号:CN118587069A
公开(公告)日:2024-09-03
申请号:CN202410753996.7
申请日:2024-06-12
申请人: 国家计算机网络与信息安全管理中心
IPC分类号: G06Q50/26 , G06F18/241
摘要: 本发明涉及数据出境安全技术领域,公开了一种基于分类分级的数据出境合规路径推荐方法及系统,根据数据处理者是否属于关键信息基础设施运营者、实际数据出境类型、数据敏感程度、数据链路情况,判断与申报材料相比是否有错误,是则根据不同对比情况给出合规建议,否则该数据出境业务场景合规,无需额外处理;判断数据出境业务场景是否属于预设可免予申报数据出境安全评估、订立个人信息出境标准合同、通过个人信息保护认证的场景,若全部出境场景均属于,则结束;根据数据处理者是否属于关键信息基础设施运营者、实际出境数据明细日志,结合预定义的数据分类分级标准,分析出境数据类型、数据敏感程度、不同时间范围内出境的数据数量以及自然人数,完成数据出境合规路径的自动化推荐。本发明结合数据处理者境内数据出境出口日志数据,实现对数据处理者数据出境合规三种路径的推荐以及合规后常态化监测,并根据实际问题给出合理处置建议。
-
公开(公告)号:CN106446168B
公开(公告)日:2019-11-01
申请号:CN201610849787.8
申请日:2016-09-26
申请人: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC分类号: G06F16/25
摘要: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法,属于信息处理领域;具体为:首先,初始化系统启动参数;加载器管理模块为每个线程各申请一个加载器;每个线程各创建一个数据解析模块,对客户端数据进行解析并传输给加载器;每个加载器分别调用数据校验模块进行检验;然后,将检验后的字段数据缓存到数据缓存模块,进行管理并传输给数据传输模块;通过分布式节点监听模块获取每个分布式数据仓库的监听状态,并发送给数据传输模块;最后,数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率,符合目前的应用需求,具有广阔的应用前景。
-
公开(公告)号:CN104794158B
公开(公告)日:2018-11-13
申请号:CN201510117236.8
申请日:2015-03-17
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC分类号: G06F17/30
摘要: 本发明涉及一种界标窗口下域名数据重复检测快速索引方法。该方法将界标窗口根据子界标分成多个子窗口,通过稳定性布隆过滤器和字典树维护各子窗口的数据项;针对网络数据流自适应地调整索引策略,在数据较为密集时采用稳定性布隆过滤器,在数据相对稀疏时采用字典树索引策略。在域名数据重复检测的适配方面,本发明提出将域名数据翻转,形成重叠前缀字符串比率较高的数据集,有利于后续字典树的快速匹配和存储容量缩减。本发明能够降低索引维护的空间,提升元素重复检测的效率,并能够扩展到分布式场景下,有效解决网络监控应用中域名数据重复检测的问题,同时,本发明可以扩展到分布式计算场景下,便于计算性能线性提升。
-
公开(公告)号:CN104731864B
公开(公告)日:2018-05-29
申请号:CN201510088785.7
申请日:2015-02-26
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC分类号: G06F17/30
摘要: 本发明公开了一种海量非结构化数据的数据存储方法。本方法为:1)设定一时间间隔T,将数据存储集群划分为多个分区,用于将同一时间间隔T内的记录存储到同一分区内;同时将每一分区划分为n个散列区;2)对于每条非结构化记录,提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key;3)根据每条记录的时间t,确定其要存储到的分区,然后根据该记录的关键信息key计算其在该分区中对应的散列区值;4)根据步骤3)的计算结果,将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数,如果记录数大于设定阈值K,则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。
-
公开(公告)号:CN106484815A
公开(公告)日:2017-03-08
申请号:CN201610849786.3
申请日:2016-09-26
申请人: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC分类号: G06F17/30
CPC分类号: G06F17/30442 , G06F17/30321 , G06F17/30427
摘要: 本发明提供了一种基于海量数据类SQL检索场景的自动识别优化方法,属于海量数据统计分析领域。本发明通过五方面来进行优化:引入lucene作为可选存储介质;对每个数据文件的检索字段增加bloomfilter索引(bf索引);对不同检索场景的划分及最优存储介质的选择;在进行lucene检索场景时,将类SQL语句转换为lucene语句;对lucene存储介质和bf索引添加有效性的会话级设置。在检索时,首先判定bf索引会话级的有效性,通过bf索引缩小待检索数据文件列表,再判定lucene存储介质的会话级有效性。本发明有效降低了海量数据检索时集群的资源消耗,大幅度提升了海量数据的检索性能。
-
公开(公告)号:CN118363980B
公开(公告)日:2024-09-24
申请号:CN202410788650.0
申请日:2024-06-19
申请人: 长安通信科技有限责任公司 , 国家计算机网络与信息安全管理中心
IPC分类号: G06F16/242 , G06F16/22 , G06F16/28 , G06F18/22 , G06F18/23
摘要: 本发明涉及数据处理技术领域,具体涉及一种SQL语句智能合并方法及系统,包括:获取历史数据库中分句向量和合句向量,待合并的SQL分句;将分句作为底层根据每任意两个合句向量之间的相似情况,构建预测树结构,并构建层次聚类树;根据预测树结构与层次聚类树中节点之间的匹配关系确定最优聚类层;对最优聚类层中聚类簇进行特征提取获得每个聚类簇的特征向量;根据特征向量之间的相似情况进行特征匹配的结果,并进行特征合并,确定合并特征向量;根据待合并的SQL分句与合并特征向量之间的特征匹配情况,计算待合并的SQL分句之间的合并概率;基于合并概率对待合并的SQL分句进行合并。本发明可以获得精度更好的SQL语句合并结果。
-
公开(公告)号:CN118363980A
公开(公告)日:2024-07-19
申请号:CN202410788650.0
申请日:2024-06-19
申请人: 长安通信科技有限责任公司 , 国家计算机网络与信息安全管理中心
IPC分类号: G06F16/242 , G06F16/22 , G06F16/28 , G06F18/22 , G06F18/23
摘要: 本发明涉及数据处理技术领域,具体涉及一种SQL语句智能合并方法及系统,包括:获取历史数据库中分句向量和合句向量,待合并的SQL分句;将分句作为底层根据每任意两个合句向量之间的相似情况,构建预测树结构,并构建层次聚类树;根据预测树结构与层次聚类树中节点之间的匹配关系确定最优聚类层;对最优聚类层中聚类簇进行特征提取获得每个聚类簇的特征向量;根据特征向量之间的相似情况进行特征匹配的结果,并进行特征合并,确定合并特征向量;根据待合并的SQL分句与合并特征向量之间的特征匹配情况,计算待合并的SQL分句之间的合并概率;基于合并概率对待合并的SQL分句进行合并。本发明可以获得精度更好的SQL语句合并结果。
-
公开(公告)号:CN117336080A
公开(公告)日:2024-01-02
申请号:CN202311383389.8
申请日:2023-10-24
申请人: 国家计算机网络与信息安全管理中心
IPC分类号: H04L9/40
摘要: 本发明涉及病毒检测技术领域,公开了一种基于流量和指标的暴力破解检测系统及方法,包括安装在受监测服务器上的指标采集模块、指标分析模块、流量采集模块和流量分析模块,流量采集模块与所述流量分析模块连接,指标采集模块与所述指标分析模块连接,与流量分析模块和指标分析模块连接有检测服务器,检测服务器设有暴力破解行为检测模块,与所述检测服务器连接有数据库服务器,数据库服务器设有异常行为库模块,与所述数据库服务器连接有界面服务器,所述界面服务器设有告警界面模块。本发明解决当前基于文件扫描和样本分析的检测方法中的检测耗时久,占用资源高的问题,同时可缩短从行为发生到行为被检测的时间,提升检测的时效性。
-
公开(公告)号:CN113271220B
公开(公告)日:2022-10-14
申请号:CN202110340162.X
申请日:2021-03-30
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC分类号: H04L41/04 , H04L41/069 , H04L41/0823 , H04L41/14 , H04L41/22 , H04L67/06 , H04L67/1097 , H04L67/30 , H04L9/40
摘要: 本发明涉及一种基于配置文件和日志文件的跨组件数据流向审计方法和系统。该方法的步骤包括:采集大数据平台中各个组件的配置文件和日志文件;根据采集的配置文件和日志文件,识别分布式环境下部署在不同物理服务器上的大数据组件;根据识别出的大数据组件并结合日志文件中的信息,构建跨组件的数据流向图;根据数据流向图进行数据流向的异常判定及告警。本发明通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证,实现高精度的组件识别,结合凝练的安全审计模型,实现大数据平台整体数据流转情况的采集,进而支持业务流程中不同环节的数据使用情况审计,并能够对异常任务、异常数据使用场景进行识别和告警。
-
公开(公告)号:CN112241365B
公开(公告)日:2022-09-30
申请号:CN202010722288.9
申请日:2020-07-24
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC分类号: G06F11/36 , G06F16/182 , G06F9/54
摘要: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象,通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象,由文件对象和文件块对象构成Namenode内存元数据;基于构建的元数据,构造与生产环境相符的Namenode负载状态,并进行Namenode内部扩展和集群扩展,实现RPC性能优化。本发明能够高速构建Namenode元数据,为快速搭建接近生产环境的测试集群提供了帮助,全局锁的拆分能够提升RPC性能,多个Namenode协作管理集群且同时对外提供服务,提供了更高的读写吞吐量。
-
-
-
-
-
-
-
-
-