基于容器技术的Hadoop集群系统及快速构建方法

    公开(公告)号:CN106790483A

    公开(公告)日:2017-05-31

    申请号:CN201611143466.2

    申请日:2016-12-13

    IPC分类号: H04L29/08 H04L12/46 H04L29/12

    摘要: 基于容器技术的Hadoop集群系统及快速构建方法,涉及大数据和云计算技术领域,包括配置不同容器运行节点的容器之间通过VXLAN进行通信,配置各容器运行节点的虚拟网桥不在同一网段;安装SSH和JAVA运行环境,制作DNS服务镜像、Hadoop Master服务镜像和Hadoop Slave服务镜像的打包文件,执行镜像打包,打包后上传至镜像仓库保存;用户通过客户端依次向容器管理节点提交部署三个服务的请求,容器管理节点调度相应请求到容器运行节点进行部署,并进行对应服务的注册。本发明能够快速部署Hadoop集群,解决服务器数量不够用的情况,提高Hadoop容器集群部署在Docker平台上的可用性。

    基于信息熵度量的深度包检测设备异常流量监控方法

    公开(公告)号:CN105429977A

    公开(公告)日:2016-03-23

    申请号:CN201510776669.4

    申请日:2015-11-13

    IPC分类号: H04L29/06

    CPC分类号: H04L63/1408

    摘要: 本发明公开了一种基于信息熵度量的深度包检测设备及其异常流量监控方法,该方法包括以下步骤:采样代理模块监听深度包检测设备的链路接口;获取原始流量报文的样本,并以sFlow协议格式封装为采样报文;收集采样报文并解析;计算原始流量报文的信息熵值,并做标准化处理;根据原始流量报文的历史信息熵值曲线,得到流特征分布的波动和变化情况,判定当前流量是否为异常流量;根据管控策略对异常流量进行管控。本发明,将基于流采样方式的网络测量技术应用于深度包检测设备,通过构建以流采样技术和信息熵度量工具为基础的流特征检测引擎,实现了对流特征分布特性的度量和异常流量的检测,帮助提升深度包检测设备对异常流量检查范围和检测能力。

    基于CWDM的地下管线多检测节点光纤供能方法及装置

    公开(公告)号:CN104980227A

    公开(公告)日:2015-10-14

    申请号:CN201510214533.4

    申请日:2015-04-30

    IPC分类号: H04B10/80 H04J14/02

    摘要: 本发明涉及CWDM通信网络的光电能量转换领域,特涉及基于CWDM的地下管线检测节点光纤供能方法及装置。本发明通过多路信号光纤与对应的多路供能光纤对地下管线各处多个检测节点进行供能以实现信号检测和数据采集,使多个检测节点在需要工作时能同时处于供能状态,供能完成后便关断电源。本发明可以良好地解决地下管线检测节点供能困难的问题,提高了系统运行的可靠性,且便于维护。

    基于CWDM的地下管线检测节点光纤供能方法及装置

    公开(公告)号:CN104601272A

    公开(公告)日:2015-05-06

    申请号:CN201410786098.8

    申请日:2014-12-18

    IPC分类号: H04J14/02 H04B10/25

    摘要: 本发明涉及CWDM通信网络的光电能量转换领域,涉及基于CWDM的地下管线检测节点光纤供能方法及装置。本发明通过基于CWDM的多路信号光纤触发联动贯穿多个检测节点的供能光纤,对地下管线各处任一检测节点进行供能,以实现对该节点的选择性信号检测和数据采集,使检测节点在需要工作时才处于供能状态,供能完成后便关断电源,本发明可以良好地解决地下管线监测中供能困难的问题。

    一种基于数据驱动的网络功能虚拟化的装置及方法

    公开(公告)号:CN105429806B

    公开(公告)日:2019-06-11

    申请号:CN201510995921.0

    申请日:2015-12-24

    IPC分类号: H04L12/24 G06F9/455 H04L29/08

    摘要: 本发明涉及网络通信领域,特涉及一种基于数据驱动的网络功能虚拟化的装置及方法,尤其涉及云计算、软件定义网络、数据驱动和网络功能虚拟化的交叉领域。本发明通过数据模型驱动实现VNF的个性化定制,通过设备视图和服务视图帮助网络管理员获得实时完整的VNF全局状态,通过控制层和VNF的直连实现对VNF的灵活配置,并可以通过中介设施同异构云计算网络基础设施互通协作,克服了现有云计算网络基础设施的不足,促进了SDN和NAAS的融合。

    基于列存储的智能双引擎分析系统及方法

    公开(公告)号:CN104133858B

    公开(公告)日:2017-08-01

    申请号:CN201410335740.0

    申请日:2014-07-15

    IPC分类号: G06F17/30 H04L29/08

    摘要: 本发明公开了一种基于列存储的智能双引擎分析系统及方法,涉及智慧城市和大数据处理领域,该系统包括HBase存储单元、客户端和智能SQL路由单元,该系统在用户侧实现智能SQL路由单元;该系统采用HBase存储单元作为底层数据的存储单元,并在HBase存储单元上建立实时查询引擎和批量分析引擎,该系统针对的数据是结构化的关系型数据。本发明既能满足实时性的简单查询,又能有效提高分析大规模数据的性能,满足用户对大规模数据的统计分析要求。

    基于大数据的小区车位对外停车管理实现方法

    公开(公告)号:CN106846886A

    公开(公告)日:2017-06-13

    申请号:CN201611128633.6

    申请日:2016-12-09

    IPC分类号: G08G1/14 G07B15/02

    摘要: 本发明公开了一种基于大数据的小区车位对外停车管理实现方法,该方法通过对接小区车辆管理系统,获取小区信息,并获取用户个人注册信息;然后采集用户位置信息,根据用户注册的常停车区域或用户查询信息,综合用户常停车区域或用户查询信息距离始发地距离、当前天气交通、目的地小区地上停车场费用、目的地小区实时空停车位四个因素信息为用户推荐停车小区。该方法可以解决为用户推荐所需停车区域最优停车小区和小区车位对外停车的管理问题。提供了一个错峰小区停车平台,错峰利用空出小区车位对外停车,缓解停车高峰期停车困难需求。

    一种基于列存储的大数据并行处理系统及方法

    公开(公告)号:CN103646051B

    公开(公告)日:2017-02-08

    申请号:CN201310616040.4

    申请日:2013-11-27

    IPC分类号: G06F17/30

    摘要: 一种基于列存储的大数据并行处理系统及方法,涉及大数据处理领域,包括客户端、主控节点和多个数据节点,所述主控节点包括HBase主控制器和SQL主引擎,HBase主控制器负责管理和维护所述数据节点,SQL主引擎负责SQL语句的解析并将SQL语句继续向数据节点进行分发;每个所述数据节点包括HBase分区节点和SQL从引擎,HBase分区节点负责每个数据节点上数据的存储和管理,SQL从引擎负责SQL在该数据节点的解析和执行,主控节点和数据节点均包括HBase表,还分别包括SQL表。本发明适合大规模数据量的环境,提供更完善的结构化关系数据模型的SQL接口。

    大数据驱动的互联网架构和实现方法

    公开(公告)号:CN105515822A

    公开(公告)日:2016-04-20

    申请号:CN201510822452.2

    申请日:2015-11-24

    IPC分类号: H04L12/24 H04L29/08

    摘要: 本发明公开了一种大数据驱动的互联网架构和实现方法,该架构包括网络平面和管理平面,还包括大数据平面,其包括网络感知层感知网络平面的网络状态及管理平面的运营状态,获得网络状态和运营状态大数据;大数据处理分析层对网络状态和运营状态大数据进行关联分析,获得现网络的状态、能力、资源使用及性能;大数据智能服务层将现网络的状态、能力、资源使用及性能智能反馈给网络平面和管理平面;网络平面和管理平面根据智能反馈实现网络管理和控制。本发明,引入大数据平面,实现网络控制和管理的智能化和自主化,并有效提高网络的服务质量和用户体验;同时将复杂的计算和数据处理从管理平面和网络平面中剥离出来,降低网络管理和控制的复杂度。