一种基于SparkSQL和物化视图的数据建模方法及装置

    公开(公告)号:CN111399838A

    公开(公告)日:2020-07-10

    申请号:CN202010497130.6

    申请日:2020-06-04

    IPC分类号: G06F8/38 G06F3/0486

    摘要: 本发明公开了一种基于SparkSQL和物化视图的数据建模方法及装置,提供多种数据源插件,使用jsplumb给用户提供一个拖拉拽便捷式可视化数据建模方式。并且提供物化视图,提升用户查询自己创建的数据模型性能。解决了针对离线式数据仓库,分析数据的数据量都是很大的,如果执行的SQL任务数据使用传统的JVM或者放到RDBMS里面,对性能和资源的要求较高,在资源不足情况下,会出现创建的数据模型分析失败的问题;同时解决了在对用户数据模型运行之后的物化视图的存储较为单一,无法灵活针对用户存储场景的问题。

    一种基于二维表的存储方法、索引构建方法及存储装置

    公开(公告)号:CN111367920A

    公开(公告)日:2020-07-03

    申请号:CN202010464665.3

    申请日:2020-05-28

    IPC分类号: G06F16/22

    摘要: 本发明公开了一种基于二维表的存储方法、索引构建方法及存储装置,基于内存中二维表存储和索引提取,主要提出了一种基于二维表数据块存储格式,保存的元数据信息用于索引检索;同时提出了一种对应的多维索引检索方式,高效快速定位要查询的数据块。解决了现有内存存储技术只能通过主键来定位需要的数据而无法根据非主键直接创建索引的问题。具有提升了读取数据的灵活性,针对不同列进行反向索引定位到对应的数据块上,减少了磁盘IO的优点。

    一种大数据运维监控的多平台适配方法

    公开(公告)号:CN111258589A

    公开(公告)日:2020-06-09

    申请号:CN202010370712.8

    申请日:2020-05-06

    IPC分类号: G06F8/41 G06F8/61

    摘要: 本发明公开了一种大数据运维监控的多平台适配方法,对大数据运维监控工具依次进行操作系统校验、主机注册和组件安装的操作,通过对大数据运维监控工具的源代码进行适配的判断和修改,使不能安装在国产操作系统上的大数据运维监控工具能够与国产操作系统进行适配,解决了大数据运维监控作为来源于国外的大数据技术,其大多功能组件均不能直接运行于国产芯片和操作系统平台,大数据运维监控作为大数据应用中的重要功能,同样需要进行国产化兼容的问题。

    一种基于智能规划安装大数据软件的方法

    公开(公告)号:CN110737445A

    公开(公告)日:2020-01-31

    申请号:CN201911013079.0

    申请日:2019-10-23

    IPC分类号: G06F8/61 G06F9/50

    摘要: 本发明公开了一种基于智能规划安装大数据软件的方法,现有的手动配置服务实现数据平台安装,需要实现的步骤有:第一步,手动设置服务器环境,如关闭selinux,防火墙等。第二步,手动配置安装参数。第三步,手动执行安装命令。第四步,如果资源不满足服务运行要求,则需要再次手动调整。本方案区别于现有技术,提出一种可以根据软硬件资源信息智能规划安装hadoop大数据产品的方法,自动配置大数据软件的各项服务,达到合理分配资源安装大数据产品,降低运维成本;解决了手动配置安装大数据管理系统的服务,存在配置复杂,操作容易出现失误,失败后需要花费大量时间进行解决,对操作人员要求较高的问题。

    函数动态创建方法、装置及电子设备

    公开(公告)号:CN109992259A

    公开(公告)日:2019-07-09

    申请号:CN201910300273.0

    申请日:2019-04-15

    摘要: 本申请实施例提供一种函数动态创建方法、装置及电子设备,在获取的存储过程的SQL语句中包含函数创建语句及存储过程创建语句时,分别对函数创建语句及存储过程创建语句进行解析生成对应的第一java文件及第二java文件,再分别对其进行编译得到第一可执行文件和第二可执行文件,最后将第一可执行文件和第二可执行文件加载至内存中。如此,可在创建存储过程中动态创建自定义函数,便于后续存储过程对自定义函数的调用,并且基于java代码的通用性,java类的自定义函数及存储过程可支持跨平台的使用。

    分布式存储方法、装置、电子设备及存储介质

    公开(公告)号:CN109831540A

    公开(公告)日:2019-05-31

    申请号:CN201910297355.4

    申请日:2019-04-12

    IPC分类号: H04L29/08

    摘要: 本公开提供一种分布式存储方法、装置、电子设备及存储介质,涉及数据处理技术领域。本公开提供的分布式存储方法、装置、电子设备及存储介质,在接收客户端发送的数据写入请求信息后,根据数据写入请求信息,给请求写入的数据分配存储位置,并根据存储位置生成元数据以及写入反馈信息,在生成写入反馈信息和元数据后,将写入反馈信息发送至客户端,以使客户端根据写入反馈信息中所包括的存储位置信息,将请求写入的数据写入与存储位置信息对应的数据节点中,将元数据与虚拟地址进行关联并存储于分布式内存数据库中,从而改善了HDFS集群存储容量受到管理节点自身内存限制的问题。

    数据跨库访问方法及装置

    公开(公告)号:CN109669980A

    公开(公告)日:2019-04-23

    申请号:CN201811575160.3

    申请日:2018-12-21

    摘要: 本申请提供一种数据跨库访问方法及装置。所述方法包括:接收来自用户终端的数据访问请求,并解析得到所有目标数据库标识,及每个目标数据库标识对应的目标数据特征;在存储的所有Hive数据映射表中查找目标数据库标识对应的目标映射表;当查找到时,在目标映射表中查询与目标数据特征对应的特征信息;访问安装有与该目标映射表对应的数据库的目标服务器,并获取与查询到的特征信息匹配的目标获取数据;在得到所有目标映射表各自对应的目标获取数据后,对所有目标获取数据进行数据整理,并将整理得到的数据结果反馈给用户终端。所述方法能够实现多个数据库之间的数据跨库关联访问,提高整体的数据获取及时性,确保大数据分析的实现进度。

    任务调度管理方法、装置及运维管理服务器

    公开(公告)号:CN109634733A

    公开(公告)日:2019-04-16

    申请号:CN201811527157.4

    申请日:2018-12-13

    IPC分类号: G06F9/48

    CPC分类号: G06F9/4881

    摘要: 本申请提供一种任务调度管理方法、装置及运维管理服务器。所述方法包括:检测待执行任务队列中的各待执行定时任务的调度时间点是否与当前时间点匹配;当检测到调度时间点与当前时间点匹配的目标定时任务时,调出该目标定时任务进行执行,并在执行过程中更新该目标定时任务的任务状态;在完成该目标定时任务时,记录该目标定时任务的执行结果,并更新该目标定时任务当前的执行成功次数或执行失败次数;将该目标定时任务重新加入到待执行任务队列中,或直接将该目标定时任务加入到任务结束队列中,并更新该目标定时任务的任务状态。所述方法可降低人力成本及人工参与度,提高运维平台的搭建效率及运维效率,确保运维平台的自动化管理。

    数据存储方法及装置
    10.
    发明授权

    公开(公告)号:CN109992531B

    公开(公告)日:2020-11-10

    申请号:CN201910301133.5

    申请日:2019-04-15

    摘要: 本申请公开了一种数据存储方法及装置,能够在集群开启高可用的情况下,正常地进行数据存储。本申请应用于集群系统的管理端,其具体方案为:首先获取集群的集群标识以及所述集群中服务节点的访问地址,所述服务节点为该集群中当前执行操作的节点,并将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中;然后在需要存储数据的情况下,接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识,再根据目标集群的集群标识,从所述虚拟解析服务器中获取与所述目标集群对应的访问地址,最后根据所述访问地址存储数据。