一种基于Clickhouse数据库的时间序列数据抽取方法及装置
摘要:
本发明公开了一种基于Clickhouse数据库的时间序列数据抽取方法及装置,其中方法包括根据所接收的数据抽取请求在目标数据源与Clickhouse数据库之间建立连接通道,并通过所述连接通道从所述数据源中抽取多模态数据;所述数据抽取请求包括目标数据源、时间段和数据类型;对所述多模态数据进行格式转换,得到待写入数据;通过MergeTree数据表引擎将所述待写入数据分区存储至所述Clickhouse数据库中,并根据分区结果生成对应的索引引擎;根据所述数据抽取请求对所述索引引擎进行筛选,并根据选取的所述索引引擎从所述Clickhouse数据库中提取目标数据发送至用户;充分利用Clickhouse数据库的并行传输能力,将数据分区存储至Clickhouse数据库中,进一步提高了数据的查询效率。
0/0