数据系统的测试系统和测试方法

    公开(公告)号:CN108255712B

    公开(公告)日:2021-05-14

    申请号:CN201711486827.8

    申请日:2017-12-29

    IPC分类号: G06F11/36

    摘要: 本发明提供了一种数据系统的测试系统和测试方法。数据系统的测试系统包括:用户层,用于为用户提供访问所述测试系统的方式;中间应用层,用于从所述用户层接收所述用户提交的请求,并且对于底层大数据平台协调多个任务进行请求的解析和处理;以及底层大数据平台,为所述数据系统的数据存储层并且包括本地文件系统、分布式文件系统以及数据库,其中,所述中间应用层进一步包括数据访问接口,用于读取和访问各类大数据平台的数据和文件。本发明面向海量数据加载存储检索,针对大数据软件的特点,提供了全面完善的测试系统。

    数据系统的测试系统和测试方法

    公开(公告)号:CN108255712A

    公开(公告)日:2018-07-06

    申请号:CN201711486827.8

    申请日:2017-12-29

    IPC分类号: G06F11/36

    摘要: 本发明提供了一种数据系统的测试系统和测试方法。数据系统的测试系统包括:用户层,用于为用户提供访问所述测试系统的方式;中间应用层,用于从所述用户层接收所述用户提交的请求,并且对于底层大数据平台协调多个任务进行请求的解析和处理;以及底层大数据平台,为所述数据系统的数据存储层并且包括本地文件系统、分布式文件系统以及数据库,其中,所述中间应用层进一步包括数据访问接口,用于读取和访问各类大数据平台的数据和文件。本发明面向海量数据加载存储检索,针对大数据软件的特点,提供了全面完善的测试系统。

    一种云计算执行调度方法、装置、电子设备及存储介质

    公开(公告)号:CN113127209B

    公开(公告)日:2024-09-17

    申请号:CN202110519668.7

    申请日:2021-05-12

    IPC分类号: G06F9/50 G06F11/14

    摘要: 本申请提供一种云计算执行调度方法、装置、电子设备及存储介质,用于改善很难在复杂系统中完成资源调度执行的问题。该方法包括:获取声明式接口调用请求;对声明式接口调用请求进行解析转换,获得命令式接口调用请求;根据命令式接口调用请求在云计算核心系统上执行资源调度,获得执行结果。在上述的实现过程中,通过将声明式接口解析转换为命令式接口,使得云计算核心系统能够根据声明式接口调用请求执行命令式接口中的命令,使得不熟悉目标系统的技术人员可以直接使用声明式接口在云计算核心系统上执行资源调度,从而提高了云计算核心系统的易用性和可用性,也提高了在复杂系统中完成资源调度执行的便捷性。

    一种基于混合内存的数据处理方法及装置

    公开(公告)号:CN111176584B

    公开(公告)日:2023-10-31

    申请号:CN201911424993.4

    申请日:2019-12-31

    IPC分类号: G06F3/06

    摘要: 本申请提供一种基于混合内存的数据处理方法及装置。该方法应用于分布式存储系统中的一个节点,分布式存储系统包括多个互相通信连接的节点,每个节点包括HFDD和外存储器,HFDD包括内存和固态硬盘SSD,内存包括随机存储器RAM和NVDIMM,所述方法包括:计算各数据的热度,其中,热度表示对应数据被访问的频繁程度;根据各数据的热度,以及内存、SSD和外存储器分别对应的存储容量将各数据进行存储。本申请实施例中,HFDD是基于RAM+NVM混合内存的容错分布式数据抽象,并且根据数据的热度对数据进行存储,一方面提高了内存的存储容量,另一方面,提高了数据访问的效率。

    数据存储方法、装置及可读存储介质

    公开(公告)号:CN113297155A

    公开(公告)日:2021-08-24

    申请号:CN202110562353.0

    申请日:2021-05-21

    IPC分类号: G06F16/174 G06F16/22

    摘要: 本申请提供一种数据存储方法、装置及可读存储介质,涉及数据处理技术领域。该方法通过获取待写入目标属性字段下的目标数据,然后采用该属性字段对应的压缩方法对目标数据进行压缩,实现以属性值为单位进行数据压缩,使得在读取某个数据时,可以大大降低数据的读取开销,提升数据的读取性能。并且,通过设置对应关系表来存储各个属性字段对应的压缩方法和压缩参数信息,这样可以针对一张表中的不同属性字段设置不同的压缩方法,或设置相同的压缩方法不同的压缩参数信息,并在属性字段值中存储压缩方法ID,从而可实现针对同行不同列的属性值、同列不同行的属性值采用不同的压缩方法进行压缩,使得压缩更加灵活。

    电力负荷预测方法、装置、计算机设备和存储介质

    公开(公告)号:CN113255973A

    公开(公告)日:2021-08-13

    申请号:CN202110503715.9

    申请日:2021-05-10

    摘要: 本申请涉及一种电力负荷预测方法、装置、计算机设备和存储介质。该方法包括:计算机设备通过获取历史电力负荷数据,根据预设的多个时间段将历史电力负荷数据划分为多个负荷数据集,根据各负荷数据集的时间段确定对应的目标负荷预测模型,将各负荷数据集输入至对应的目标负荷预测模型中,得到时间段的电力负荷预测结果。本方案中,由于不同时间段的电力负荷数据存在较大的差异,构建各个时间段对应的目标负荷预测模型进行电力负荷的预测,相比传统算法模型,分时间段的预测模型可以更好的应对电力负荷的在不同时间段的周期性变化波动和多因素的影响,具有较强的实用性,且提高了各个时间段电力负荷预测结果的准确性。

    一种云计算执行调度方法、装置、电子设备及存储介质

    公开(公告)号:CN113127209A

    公开(公告)日:2021-07-16

    申请号:CN202110519668.7

    申请日:2021-05-12

    IPC分类号: G06F9/50 G06F11/14

    摘要: 本申请提供一种云计算执行调度方法、装置、电子设备及存储介质,用于改善很难在复杂系统中完成资源调度执行的问题。该方法包括:获取声明式接口调用请求;对声明式接口调用请求进行解析转换,获得命令式接口调用请求;根据命令式接口调用请求在云计算核心系统上执行资源调度,获得执行结果。在上述的实现过程中,通过将声明式接口解析转换为命令式接口,使得云计算核心系统能够根据声明式接口调用请求执行命令式接口中的命令,使得不熟悉目标系统的技术人员可以直接使用声明式接口在云计算核心系统上执行资源调度,从而提高了云计算核心系统的易用性和可用性,也提高了在复杂系统中完成资源调度执行的便捷性。

    航空应急救援数据采集系统及方法

    公开(公告)号:CN109933624A

    公开(公告)日:2019-06-25

    申请号:CN201811654081.1

    申请日:2018-12-28

    摘要: 本发明提供了航空应急救援数据采集系统及方法。航空应急救援数据采集系统,包括用于采集实时数据的实时数据采集子系统,所述实时数据采集子系统包括:多个采集设备,用于分别从多个采集点并行地采集实时数据;分布式消息中间件,从所述多个采集设备接收所述实时数据并且将所述实时数据进行标准化;以及分布式流式处理引擎,以消息订阅的方式从所述分布式消息中间件获取标准化的实时数据。该采集系统利用云计算和大数据技术,实现多源异构数据的实时采集、标准化和数据载入。解决了不同数据源(不同操作系统、不同的数据库系统、不同的文件系统等)、不同数据类型(结构化数据、半结构化数据和非结构化数据)的统一和标准化问题。

    新闻稿件话题聚类的方法和系统

    公开(公告)号:CN108255978A

    公开(公告)日:2018-07-06

    申请号:CN201711452903.3

    申请日:2017-12-28

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种新闻稿件话题聚类的方法和系统,该方法包括:抽取历史新闻稿件;抽取实时新闻稿件;对历史新闻稿件进行分析处理,形成历史新闻稿件的话题层次树;根据实时新闻稿件与话题层次树中的话题的相似度,将实时新闻稿件添加到话题层次树中。本发明的上述技术方案能够实现对新闻稿件的全量话题聚类效果,在此实现过程中可利用大数据的分析处理技术,从而具有良好的聚类效果和应用效果。