一种面向Spark并行计算框架的迭代式数据均衡优化方法

    公开(公告)号:CN107506388A

    公开(公告)日:2017-12-22

    申请号:CN201710623289.6

    申请日:2017-07-27

    IPC分类号: G06F17/30 G06F9/50 G06F12/02

    摘要: 一种面向Spark并行计算框架的迭代式数据均衡分区方法:首先,将大数据粗粒度Block划分为细粒度的FG-Block,根据FG-Block创建微分区和微分区索引;其次,根据Reducer数量创建等量的Bucket;第三,确定迭代式数据分区的时机、数量和迭代式分区的准则;第四,记录各个Bucket的局部与全局数据分配情况;第五,根据数据均衡分区算法以及分配情况将选择的微分区分配到各个Bucket;最后,将Bucket中已分配的数据传输给Reducer端。本发明为Spark框架提出了一种新的数据均衡分区方法,减少了大数据处理过程中的数据倾斜,提高了Spark并行计算框架的大数据处理整体性能。

    一种Web可视化环境中的数据视图副本迭代方法

    公开(公告)号:CN107291806A

    公开(公告)日:2017-10-24

    申请号:CN201710341832.3

    申请日:2017-05-16

    IPC分类号: G06F17/30

    摘要: 一种Web可视化环境中的数据视图副本迭代方法,包括以下步骤:第一步、建立一个动态演化模型,分为大数据用户层、大数据可视化层及大数据源层;第二步、基于所述的模型,提出的Web可视化环境中的数据视图副本迭代方法。本发明提出了一种Web可视化环境中的数据视图副本迭代方法,将可视化结果进行物化缓存,并通过副本迭代方法提高数据视图的更新效率,避免频繁的更新对查询性能的影响,降低数据视图的检索开销;该方法在查询集较大、数据源更新较为频繁的Web环境中,能够对海量数据进行快速查询与可视化展示;并实现更新缓存时保证现有正在访问数据视图的用户不被影响。

    一种基于数据服务的跨域电梯数据组合视图自动生成方法

    公开(公告)号:CN107239483A

    公开(公告)日:2017-10-10

    申请号:CN201710244081.3

    申请日:2017-04-14

    IPC分类号: G06F17/30

    摘要: 一种基于数据服务的跨域电梯数据组合视图自动生成方法,首先,将跨域电梯数据集封装为原子数据服务,并基于REST技术将原子数据服务封装注册并统一管理;其次,根据原子数据服务的内在的依赖关系构建跨域电梯数据的数据服务依赖图;再次,在服务依赖图的基础上,根据用户数据需求自动组合原子数据服务生成复合数据服务;最后,执行复合数据服务生成数据组合视图,以表格的形式返回给用户。本发明为跨域电梯数据集成提供了一种有效的数据组合视图自动生成方法,提高了其自动化程度。

    一种面向REST架构风格的Web服务快速开发方法

    公开(公告)号:CN107203388A

    公开(公告)日:2017-09-26

    申请号:CN201710447342.1

    申请日:2017-06-14

    IPC分类号: G06F9/44 H04L12/24 H04L29/08

    摘要: 一种面向REST架构风格的Web服务快速开发方法,包括以下步骤:第一步、建立一个基于REST‑AnGo的模型,分为视图层、控制层和组件层;第二步、基于所述的模型提出Web服务快速开发方法,过程如下:步骤2.1:将拥有基本功能的元Agent注册到Agent Cluster中,或者将已经废弃的元Agent从Agent Cluster中注销;步骤2.2:采用惰性加载机制加载配置信息;步骤2.3:加载完成后,将配置文件中的需求信息装载;步骤2.4:通过Mapping Tree来实现REST资源的映射,并进行系统实现。本发明能在较大程度上提高REST服务的开发效率,降低开发难度,并保障客户端独立性。

    一种面向实时流计算的无感知拓扑替换方法

    公开(公告)号:CN107092649A

    公开(公告)日:2017-08-25

    申请号:CN201710145598.7

    申请日:2017-03-13

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30958

    摘要: 一种面向实时流计算的无感知拓扑替换方法,初始化一个头尾相连的环形队列;获取当前时间窗口内拓扑中数据计算失败的数量failNum;遍历队列,对于队列中的每一个元素,更新E(M);遍历队列,对于队列中的每一个元素,更新S2;判断S2值是否大于C,若是判断faileNum是否大于E(M),若大于则对当前的拓扑进行扩容替换,否则进行缩容替换;对当前Topology中的Task索引进行重新计算;初始化newTopology,按照索引分配Task所在的Worker Node,等待原Topology数据处理完成之后再开始执行,新到达的数据会流入newTopology。本发明自动进行、系统无需暂停和对用户透明。

    一种基于USDR模型的云推荐方法

    公开(公告)号:CN106528812A

    公开(公告)日:2017-03-22

    申请号:CN201611015525.8

    申请日:2016-11-18

    IPC分类号: G06F17/30 H04L29/08

    CPC分类号: G06F17/30867 H04L67/26

    摘要: 一种基于USDR模型的云推荐方法,包括如下步骤:第一步:USDR数据模型建模,过程如下:1.1用户数据模型建模,用户数据基本划分为六类:用户基本数据、时间数据、地点数据、环境数据、用户偏好数据和历史数据;1.2系统数据模型建模,系统数据模型包括:基础数据、功能数据和其他数据。第二步:基于USDR模型的云推荐方法,过程如下:2.1基于用户的云推荐方法;2.2基于系统的云推荐方法;第三步:采用基于USDR模型的云推荐算法得出用户推荐度列表。本发明采用面向多源异构数据的USDR模型,通过将用户数据和系统数据分类来快速得到用户和系统的不同推荐度,以实现云环境下数据的高效推荐。

    一种基于平行坐标系的海量文件流转可视化方法

    公开(公告)号:CN106021529A

    公开(公告)日:2016-10-12

    申请号:CN201610354920.2

    申请日:2016-05-25

    IPC分类号: G06F17/30 G06Q10/06

    摘要: 本发明专利涉及一种基于平行坐标系的海量文件流转可视化方法。首先,对文件流转数据进行预处理,转换为中间表示;其次,将中间表示数据集转换为虚拟坐标集合,作为平行坐标系的可视化数据源;然后,根据虚拟坐标集合绘制平行坐标系,平行坐标上的点表示单位,点与点之间的折线表示流转关系;最后,根据数据特征或人机交互对平行坐标系的报送流程进行高亮显示和过虑显示;本发明的优点是能够支持海量文件报送的可视化管理,提高管理效率。

    一种用于气密性试验的气泡检测方法

    公开(公告)号:CN105389814A

    公开(公告)日:2016-03-09

    申请号:CN201510737179.3

    申请日:2015-11-03

    IPC分类号: G06T7/00 G01M3/10

    摘要: 本发明涉及一种用于气密性试验的气泡检测方法,它包括以下步骤:摄像机拍摄、图像进行帧间差分法比较、帧差像素的坐标点进行聚类分析,帧差图像NewDiffImg的得到、形心距离方差法分析、半径和圆度误差值进行比较,泄漏率的得到等。本发明与现有技术相比,存在如下有益效果:本发明是利用计算机视觉技术对压力容器气密性试验中的气泡进行检测,它直接用摄像机对图像进行采集,其操作简单,而相对光纤探头、电子探针等高昂设备对物理参数进行采集,成本大大降低,其对于外形类似气泡的杂质能很好的排除,图像采用时从检测池水面拍摄,能定位漏气位置,提高其检测结果的准确性。