基于大数据架构的网络流量分析与溯源系统

    公开(公告)号:CN109714199A

    公开(公告)日:2019-05-03

    申请号:CN201811549867.7

    申请日:2018-12-18

    IPC分类号: H04L12/24 H04L29/06 H04L29/08

    摘要: 本发明提供一种基于大数据架构的网络流量分析与溯源系统。所述系统包括外部接口、安全大数据平台、采集设备和分流设备,以及快速检索与数据关联模块,用于进行原始报文的追溯与取证、应用协议解析以及告警;交互分析模块,用于进行统计聚合、监控预警、数据建模和规则联动;预处理模块,用于进行日志处理、会话合并、DPI分析和提供安全策略。本发明采用架构通用性强,易于各厂商的集成,能够保证实时流量的可靠性。

    一种基于大数据平台的多源数据融合共享实现方法及系统

    公开(公告)号:CN109710667A

    公开(公告)日:2019-05-03

    申请号:CN201811426832.4

    申请日:2018-11-27

    IPC分类号: G06F16/25 G06F16/22 G06K9/62

    摘要: 本发明提供一种基于大数据平台的多源数据融合共享实现方法及系统,所述方法包括配置至少一个数据源信息和定时规则,并按照所配置的定时规则执行数据接入作业,数据接入作业为从所获取的至少一个数据源中抽取数据、或互联网数据采集、或转换数据、或装载数据至大数据平台;对数据接入作业中所接入的数据按照所配置的定时规则进行数据融合作业;对经数据融合作业后的数据进行分层分库存储形成存储库,并在所述存储库上构建二级索引库;通过在所构建的大数据平台中设置统一的数据交换接口进行数据共享。本发明能够面对不同场景和多源数据只需通过灵活的配置无需再次进行开发,极大提高项目上线部署效率,极大简化上层应用对大数据平台上数据的检索。

    数据导入方法及系统
    123.
    发明公开

    公开(公告)号:CN109710600A

    公开(公告)日:2019-05-03

    申请号:CN201811581188.8

    申请日:2018-12-24

    IPC分类号: G06F16/215 G06F16/25

    摘要: 本发明提供一种数据导入方法及系统。所述方法包括:客户端对需要导入的数据进行预处理;客户端调用封装好的服务端的写入接口,将需要导入的数据导入存储平台,其中,所述服务端封装了所述存储平台的写入接口。本发明能够实现数据导入的高扩展以及对数据的验证与权限管理。

    大数据平台的安装方法及装置
    124.
    发明公开

    公开(公告)号:CN109710281A

    公开(公告)日:2019-05-03

    申请号:CN201811625484.3

    申请日:2018-12-28

    IPC分类号: G06F8/61

    摘要: 本发明提供一种大数据平台的安装方法及装置,所述方法包括:获取待安装至大数据平台的依赖包和安装文件,通过脚本文件将依赖包和安装文件加入所述Repo源目录中,生成光盘镜像ISO文件;通过所述脚本文件为主服务器安装网页服务器Web Server环境,并将所述光盘镜像文件ISO文件挂载至所述主服务器;通过所述脚本文件复制Repo源配置文件和环境配置脚本至多个服务节点,以及控制所述环境配置脚本将所述Repo源配置指向主服务器;其中,所述主服务器和所述多个服务节点组成所述大数据平台。本发明能够解决相关技术中的大数据平台的安装过程中人工频繁操作导致的资源浪费的问题。

    硅立方高性能计算机的拓扑展示模型的建立方法

    公开(公告)号:CN109379243A

    公开(公告)日:2019-02-22

    申请号:CN201811625475.4

    申请日:2018-12-28

    IPC分类号: H04L12/24

    摘要: 本发明提供一种硅立方高性能计算机的拓扑展示模型的建立方法,所述硅立方高性能计算机是由多个硅元按照3D Torus的拓扑方式连接构成,每个所述硅元是由12个交换芯片按照3D Torus的拓扑方式连接构成,每个所述交换芯片连接着多个计算节点,所述方法包括:基于WebGL建立硅立方拓扑页面,所述硅立方拓扑页面用于展示所述硅立方高性能计算机的各硅元之间的拓扑关系;在每个硅元内,基于WebGL建立硅元内部拓扑页面,所述硅元内部拓扑页面用于展示硅元内部的各交换芯片之间的拓扑关系。本发明能够建立一个6D的拓扑展示模型,满足展示需求。

    基于容器的HDFS高可用实现方法

    公开(公告)号:CN109165206A

    公开(公告)日:2019-01-08

    申请号:CN201810980102.2

    申请日:2018-08-27

    IPC分类号: G06F16/182 G06F16/176

    摘要: 本发明提供一种基于容器的HDFS高可用实现方法。所述方法包括:通过HDFS集群系统中的Pod挂载预先分配的远端NFS共享目录;当Kubernetes重新调度HDFS集群中的异常Pod或容器时,通过所述异常Pod或者容器重新挂载所述远端NFS共享目录中的对应数据文件目录,以恢复异常Pod或者容器中的数据,从而实现容器内HDFS的高可用性;其中,所述NFS共享目录用于存放HDFS所有节点的数据文件的保存目录。本发明通过预先分配一个远端NFS共享目录,并将之与容器相对应,通过挂载远端NFS共享目录将HDFS节点的数据文件保存目录存放在远端NFS共享目录中,这样容器被销毁重建之后,通过重新挂载预先分配的远端NFS共享目录就可以恢复容器的用户数据,从而使得HDFS节点数据不会丢失。

    集群管理方法和装置
    127.
    发明授权

    公开(公告)号:CN104539670B

    公开(公告)日:2018-09-18

    申请号:CN201410784727.3

    申请日:2014-12-16

    发明人: 原帅 刘瑞贤 赵欢

    IPC分类号: H04L29/08

    摘要: 本发明公开了一种集群管理方法和装置,该集群管理方法包括:管理节点创建用户;将用户信息同步到所述集群的共享磁盘所在的节点;对所述共享磁盘设置磁盘配额;将所述用户信息同步到所述预先指定的节点。本发明通过上述方法可以实现在全局磁盘配额管理策略之外,支持局部磁盘配额管理策略,可以对指定节点单独设置用户磁盘配额,大大增加了系统管理方法的灵活性。

    一种适用于异构设备的短信服务平台及其实现方法

    公开(公告)号:CN102821373B

    公开(公告)日:2017-04-05

    申请号:CN201210291271.8

    申请日:2012-08-15

    发明人: 孙金刚 王亮

    IPC分类号: H04W4/14 H04W88/18

    摘要: 本发明提供的一种适用于异构设备的短信服务平台及其实现方法,短信服务平台包括依次连接的配置信息管理模块、短信设备控制模块、短信任务调度模块和短信服务平台接口。本发明的实现方法步骤有:配置信息模块根据实际部署的短信设备的类型和数量,添加配置信息;短信设备控制模块与配置信息模块通信,启动短信服务流程;短信服务平台接口与第三方系统通信,接收并存储短信任务;短信任务调度模块监听到短信任务后,进行短信任务处理流程,并派发给一个短信设备发送短信,保存发送结果。本发明的短信服务平台对第三方系统提供接口,通过实时判断短信设备类型实现系统运行时短信设备可插拔,易于测试和部署,并且各种设备可以协同运行在软件系统中。