发明公开
- 专利标题: 一种基于Clickhouse数据库的时间序列数据抽取方法及装置
-
申请号: CN202410416064.3申请日: 2024-04-08
-
公开(公告)号: CN118296068A公开(公告)日: 2024-07-05
- 发明人: 徐丹露 , 金从友 , 贺沛宇 , 谢知寒 , 姜巍 , 王澍 , 张晓波
- 申请人: 国网浙江省电力有限公司双创中心
- 申请人地址: 浙江省杭州市滨江区江晖路701号B幢
- 专利权人: 国网浙江省电力有限公司双创中心
- 当前专利权人: 国网浙江省电力有限公司双创中心
- 当前专利权人地址: 浙江省杭州市滨江区江晖路701号B幢
- 代理机构: 广州三环专利商标代理有限公司
- 代理商 吴松滨
- 主分类号: G06F16/25
- IPC分类号: G06F16/25 ; G06F16/2458 ; G06F16/22 ; G06F16/21
摘要:
本发明公开了一种基于Clickhouse数据库的时间序列数据抽取方法及装置,其中方法包括根据所接收的数据抽取请求在目标数据源与Clickhouse数据库之间建立连接通道,并通过所述连接通道从所述数据源中抽取多模态数据;所述数据抽取请求包括目标数据源、时间段和数据类型;对所述多模态数据进行格式转换,得到待写入数据;通过MergeTree数据表引擎将所述待写入数据分区存储至所述Clickhouse数据库中,并根据分区结果生成对应的索引引擎;根据所述数据抽取请求对所述索引引擎进行筛选,并根据选取的所述索引引擎从所述Clickhouse数据库中提取目标数据发送至用户;充分利用Clickhouse数据库的并行传输能力,将数据分区存储至Clickhouse数据库中,进一步提高了数据的查询效率。