基于消息中间件的历史量测数据在线迁移方法及系统

    公开(公告)号:CN118363769A

    公开(公告)日:2024-07-19

    申请号:CN202311341698.9

    申请日:2023-10-16

    摘要: 本发明公开了一种基于消息中间件的历史量测数据在线迁移方法及系统,该方法通过读取服务器上的采样测点文件获取待查询的采样测点集合,根据查询任务量将所述采样测点集合拆分成若干个测点集合;采用多线程并发查询的方式,查询每个测点集合中每个采样测点对应的历史量测数据;将所述历史量测数据进行序列化得到序列化数据,将所述序列化数据发送至消息中间件的指定主题;消息中间件消费者订阅该指定主题对所述序列化数据进行反序列化和解析得到解析数据,将所述解析数据存入时间序列数据库;本发明通过数据在线迁移方法,能够将电网运行中的历史量测数据迁移到时序数据库TSDB中,具备较高的可行性和可靠性,对在运系统的影响较小。

    一种分布式任务分片方法及系统
    3.
    发明公开

    公开(公告)号:CN117112212A

    公开(公告)日:2023-11-24

    申请号:CN202311071781.9

    申请日:2023-08-24

    IPC分类号: G06F9/50

    摘要: 本发明公开了一种分布式任务分片方法,包括以下步骤:将待处理数据拆分为N个分片,每个分片固定的数据量为X;添加分片处理数据的索引,第n个分片对应的索引为(n‑1)X~nX‑1,n∈N,n∈Z;基于分片顺序依次添加任务节点编号Task(n)和任务节点标识;建立分片、索引、任务节点编号以及任务节点标识的映射关系;当处理数据发生变化时,根据数据变化的位置改变映射关系;对每次任务节点进行健康检测,根据实际的节点资源情况对其进行调整。本发明基于电力信息数据分片的状态与执行的有序性,当分片增加、减少或者执行节点新增、删除的情况下,最小化调整分片执行方式,减小分片重新建立的连接数,提升任务执行效率。

    一种基于ETCD的分布式集群控制方法和装置

    公开(公告)号:CN114764380A

    公开(公告)日:2022-07-19

    申请号:CN202110055020.9

    申请日:2021-01-15

    IPC分类号: G06F11/20

    摘要: 本发明公开一种基于ETCD的分布式集群控制方法和装置,集群内不同节点部署的CMServer服务启动后,向ETCD服务进行抢占式事务写操作,若成功,则成为CMServer主服务;Agent进程与CMServer主服务进行连接,定期监控Agent所在节点上启动的所有服务进程状态,发送节点服务进程的状态消息和心跳消息给CMServer主服务;将服务进程的状态消息更新存储在ETCD服务中的服务状态记录中,并刷新服务状态租约时间;若CMServer主服务检测到有服务状态租约过期,则判定和更新该服务为异常状态,并根据该服务的最新状态信息判断是否进行选主操作。本发明能自动发现异常和处理异常,效率高。