-
公开(公告)号:CN107038260B
公开(公告)日:2020-03-10
申请号:CN201710390469.4
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC分类号: G06F16/215 , G06F16/23 , G06F16/2457 , G06F16/25
摘要: 本发明公开了一种可保持titan实时数据一致性的高效并行加载方法,属于大数据处理领域;首先,将titan划分为7个并行工作的模块,清洗规则管理模块实时更新过滤规则;数据接收模块接收pieceOfData放入queue1中;数据清洗模块过滤合格数据放入queue2中;ID转换模块与高速索引模块交互,判断当前pieceOfData中的两个点与titan ID的对应关系是否存在与图数据库中;如果是,将titan内部ID属性与ID值替换点保存到pieceOfDataT中,放入到queue4中;否则,将未加载的点放入HashSet中,并将对应的pieceOfData放入queue3中;剩余数据加载模块多线程并行将pieceOfDataT加载到titan中;点加载模块负责将HashSet中点加入titan,将点与titan ID的对应关系加入高速索引模块。本发明每个模块独自或交互完成部分功能,从而实现整体上加载效率的提升。
-
公开(公告)号:CN108833525A
公开(公告)日:2018-11-16
申请号:CN201810582418.6
申请日:2018-06-07
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
摘要: 本发明提供了一种基于Fiddler的HTTPS流量内容的审计方法,涉及计算机技术领域。该方法首先在局域网、企业的出口网关处安装Fiddler软件;启动Fiddler软件,生成根CA证书,并分发至局域网和企业内部的机器,使之信任;局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP,端口为8888;启动Fiddler并打开HTTPS协议数据的捕获开关,Fiddler底层启动捕包处理流程,捕获网卡上所有数据包。编写处理插件代码并编译为dll文件,对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存;编写HTTPS正则匹配模块的代码并编译为exe文件,对data目录中保存的文本文件进行正则匹配,生成日志。本发明以一种最小代价、灵活部署,满足对局域网、企业内部中小客户的HTTPS流量内容的审计要求。
-
公开(公告)号:CN105207946B
公开(公告)日:2018-05-01
申请号:CN201510535316.5
申请日:2015-08-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC分类号: H04L12/801 , G06F9/50
摘要: 本发明一种网络数据包负载均衡和预解析方法,属于众核服务器的网络结构领域。包括以下步骤:一、在众核服务器下配置交换芯片;二、数据包经过外接接口进入交换芯片后,平均分给2个MPIPE;三、每个MPIPE将数据包转发到对应的TILERA CPU上,并进行预解析;四、在每个TILERA CPU上调用库函数创建数据包处理线程;五、为每个数据包处理线程分别绑定一个TILERA CPU核;六、将预解析结果分发到对应的数据包处理线程;七、各个处理线程分别通过库函数接收数据包并且得到预解析结果,保存源IP和目的IP。优点在于:使用交换芯片和MPIPE进行各个TILERA CPU之间的负载均衡,对于处理线程不需要再解析数据包,只对关注的数据包域进行处理;操作更加简便,提高数据包的处理能力。
-
公开(公告)号:CN107220347A
公开(公告)日:2017-09-29
申请号:CN201710390490.4
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于Lucene的支持表达式的自定义相关度排序算法,属于计算机技术领域。所述算法包括:用表达式解析模块对用户输入的表达式进行合法性检查,并转化为系统可以计算的形式;表达式计算模块根据表达式中的参数,在Lucene索引中提取出相应字段进行计算;相关度排序模块对表达式的计算结果进行排序;最后用结果整合模块对各数据节点返回的计算结果进行整合,将最终自定义表达式的排序结果返回给用户。本发明支持多字段间进行表达式计算,并按照其进行排序,优于单纯的文档打分排序机制,而且该发明支持更多的函数计算,且该算法适用于分布式的大数据平台上。
-
公开(公告)号:CN107194804A
公开(公告)日:2017-09-22
申请号:CN201710391332.0
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
摘要: 本发明公开了一种P2P网贷数据自动化核验方法,包括步骤一:数据接入,步骤二:数据接入自动化审核,步骤三:数据API自动化接入,步骤四:完成自动化数据核验,本发明中数据多重核验全自动化进行,安全、智能;本发明的方法,具有很强的实用性,具有很广泛的应用前景。
-
公开(公告)号:CN107067322A
公开(公告)日:2017-08-18
申请号:CN201710390471.1
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
CPC分类号: G06Q40/025 , H04L67/104
摘要: 本发明公开了一种应用于P2P网络借贷企业数据接入模型的系统及方法;系统分为三个模块:数据接入模块、数据预处理模块和数据加载存储模块;数据接入模块完成对网络借贷平台的身份认证和数据接入接口规范;数据预处理模块完成数据完整性和有效性校验,建立各类数据完整性和有效性校验规则,并对数据进行去重和修正操作;数据加载存储模块完成大规模数据安全存储技术,为数据分析建模提供安全而方便的数据支撑服务;本发明的优点在于:可以对大量网络借贷平台中的异构数据形成规范和统一的标准,并进行规范、安全、稳定的数据接入,为P2P网络借贷平台监管奠定数据基础。
-
公开(公告)号:CN108874971B
公开(公告)日:2021-09-24
申请号:CN201810582832.7
申请日:2018-06-07
申请人: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
摘要: 本发明公开了一种应用于海量标签化实体数据存储的工具和方法,属于海量数据存储、标签数据存储领域。该工具包括标签元数据模块、实体标签数据模块和统一存取API模块。用户输入用户名密码和请求,统一存取API模块根据用户名和密码,访问标签元数据模块并读取标签的元数据,按用户请求对元数据进行包装,转换成数据层的数据格式,传输到数据层的对应接口对标签数据执行操作,实体标签数据模块根据统一存取API模块发出的请求执行相应的操作,并对数据做持久化处理。同时实体标签数据模块将处理结果返回给统一存取API模块,统一存取API模块将数据进行包装按照规定格式返回到工具界面。本发明具有高针对性,可扩展性及持久性,支撑更高层次的业务需求。
-
公开(公告)号:CN108833525B
公开(公告)日:2021-06-25
申请号:CN201810582418.6
申请日:2018-06-07
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
摘要: 本发明提供了一种基于Fiddler的HTTPS流量内容的审计方法,涉及计算机技术领域。该方法首先在局域网、企业的出口网关处安装Fiddler软件;启动Fiddler软件,生成根CA证书,并分发至局域网和企业内部的机器,使之信任;局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP,端口为8888;启动Fiddler并打开HTTPS协议数据的捕获开关,Fiddler底层启动捕包处理流程,捕获网卡上所有数据包。编写处理插件代码并编译为dll文件,对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存;编写HTTPS正则匹配模块的代码并编译为exe文件,对data目录中保存的文本文件进行正则匹配,生成日志。本发明以一种最小代价、灵活部署,满足对局域网、企业内部中小客户的HTTPS流量内容的审计要求。
-
公开(公告)号:CN107220347B
公开(公告)日:2020-07-03
申请号:CN201710390490.4
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC分类号: G06F16/338 , G06F16/33
摘要: 本发明公开了一种基于Lucene的支持表达式的自定义相关度排序算法,属于计算机技术领域。所述算法包括:用表达式解析模块对用户输入的表达式进行合法性检查,并转化为系统可以计算的形式;表达式计算模块根据表达式中的参数,在Lucene索引中提取出相应字段进行计算;相关度排序模块对表达式的计算结果进行排序;最后用结果整合模块对各数据节点返回的计算结果进行整合,将最终自定义表达式的排序结果返回给用户。本发明支持多字段间进行表达式计算,并按照其进行排序,优于单纯的文档打分排序机制,而且该发明支持更多的函数计算,且该算法适用于分布式的大数据平台上。
-
公开(公告)号:CN107038260A
公开(公告)日:2017-08-11
申请号:CN201710390469.4
申请日:2017-05-27
申请人: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种可保持titan实时数据一致性的高效并行加载方法,属于大数据处理领域;首先,将titan划分为7个并行工作的模块,清洗规则管理模块实时更新过滤规则;数据接收模块接收pieceOfData放入queue1中;数据清洗模块过滤合格数据放入queue2中;ID转换模块与高速索引模块交互,判断当前pieceOfData中的两个点与titan ID的对应关系是否存在与图数据库中;如果是,将titan内部ID属性与ID值替换点保存到pieceOfDataT中,放入到queue4中;否则,将未加载的点放入HashSet中,并将对应的pieceOfData放入queue3中;剩余数据加载模块多线程并行将pieceOfDataT加载到titan中;点加载模块负责将HashSet中点加入titan,将点与titan ID的对应关系加入高速索引模块。本发明每个模块独自或交互完成部分功能,从而实现整体上加载效率的提升。
-
-
-
-
-
-
-
-
-