一种面向应用的相对效能评价方法

    公开(公告)号:CN101539882B

    公开(公告)日:2016-05-25

    申请号:CN200910083156.X

    申请日:2009-05-05

    Abstract: 本发明涉及一种面向应用的相对效能评价方法,本方案为了方便系统间的比较,我们引入了基准系统,计算所有系统与基准系统间的相对效能,这样各系统间就能方便地进行比较,本方案将各领域相通因素进行提炼并将领域特性相关因素进行抽象表示,分别对效用和成本进行了细化,最后给出带有一定抽象参数的相对效能评价指标,对于各具体领域的效能指标,只需要赋予抽象参数具体含义即可,与具体领域相结合时,对一般评价方法进行细化,各参数的具体含义就比较容易描述并易于量化测量,使得各参数量纲不一致的问题得到了比较好的解决,各领域只需根据其特性赋予某些参数具体含义即可,本方案使各系统间有了可比性,方便了用户对系统的选择,同时提供商也可以根据评价方法改进其系统。

    一种数据持久化方法和装置

    公开(公告)号:CN108519987A

    公开(公告)日:2018-09-11

    申请号:CN201810158889.4

    申请日:2018-02-24

    Abstract: 本发明公开了一种数据持久化方法和装置。该方法包括:从Kafka中的预设Topic内,获取预先被转换为统一数据类型的数据;选择目标存储引擎;通过Flume将所述Topic内的数据加载到所述目标存储引擎,以便对所述数据执行持久化操作;其中,在所述目标存储引擎执行持久化操作之前,将所述数据从统一数据类型转换为所述数据原来的数据类型。本发明提供一种基于Kafka和Flume的支持多存储引擎的数据持久化方法,在本发明中,使用同一数据类型,通过一次数据序列化(转换为统一数据类型)实现了多存储引擎的统一加载,通过一次反序列化(转换为原数据类型),实现多存储引擎的高效数据持久化。

    一种数据检索方法和装置

    公开(公告)号:CN108536727A

    公开(公告)日:2018-09-14

    申请号:CN201810158888.X

    申请日:2018-02-24

    Abstract: 本发明公开了一种数据检索方法和装置。根据请求数据检索的结构化查询语言SQL语句生成执行计划;判断所述执行计划是否满足流式结果返回条件;如果满足流式结果返回条件,则在执行所述执行计划的过程中,逐个获取检索结果并逐个提供给用户,直至所有检索结果获取完毕并提供给用户为止。本发明在数据检索过程中,逐个获取检索结果,并且一边获取检索结果一边提供给用户使用,有效降低了使用SparkSQL进行数据检索时的结果返回响应时间和检索总消耗时间,提升了SparkSQL框架进行数据检索时的效率和可用性,并且通过流式返回方式,解决了SparkSQL在进行大结果集检索时可能出现的内存问题,使SparkSQL框架进行大结果集检索成为可能。

Patent Agency Ranking