数据迁移方法、装置、电子设备及可读存储介质

    公开(公告)号:CN116166638A

    公开(公告)日:2023-05-26

    申请号:CN202310214001.5

    申请日:2023-03-07

    摘要: 本申请实施例提供了一种数据迁移方法、装置、电子设备及可读存储介质,该数据迁移方法包括:从源系统获取待检核数据,根据预设分类条件对所述待检核数据进行分类,以获得子待检核数据;根据各子待检核数据对应的类别权重,从预设的检核规则中选择本次数据检核的目标检核规则;根据所述目标检核规则对所述待检核数据进行数据检核,并基于数据检核结果以及所述待检核数据生成待迁移数据;在所述待迁移数据符合预设的数据迁移标准的情况下,将所述待迁移数据发送给目标系统,以将所述源系统中的数据迁移到所述目标系统。可以提高数据检核结果的准确性,得到质量更高的待迁移数据,从而提高数据迁移效率。

    基于go-tensorflow的在线服务提供系统

    公开(公告)号:CN114298678A

    公开(公告)日:2022-04-08

    申请号:CN202111627336.7

    申请日:2021-12-28

    摘要: 本申请涉及一种基于go‑tensorflow的在线服务提供系统、方法、计算机可读存储介质和计算机程序产品,该系统包括执行引擎、Redis集群和HDFS集群,执行引擎从Redis集群获取在线服务的服务模型数据,并解析得到在线服务调用的多个算法模型的模型标识,以及对各个算法模型的调用路径形成的拓扑结构,根据模型标识从HDFS集群获取算法模型数据,并结合拓扑结构在内存中搭建得到模型实例,遍历模型实例中的各个算法模型,并基于go‑tensorflow利用协程执行各个算法模型,极大地提升了在线服务的性能,同时节约了部分的硬件资源,为电网服务中台的在线服务提供了一种高效可行的解决思路。

    一种数据分库分表的方法
    8.
    发明公开

    公开(公告)号:CN115576919A

    公开(公告)日:2023-01-06

    申请号:CN202211170500.0

    申请日:2022-09-22

    IPC分类号: G06F16/21

    摘要: 本发明提供的一种数据分库分表的方法,包括:将数据分散到多个数据库;突破单节点性能限制;划分中间件的切入层次;拆分的基本原则;将数据分片、分布式事务和数据库治理。实现了各省业务相对独立,同一省的数据在同一个库;避免了跨分片查询/连接/事务;使用数据库分区表,屏蔽水平分表复杂性;方便历史数据迁移。中台要存储各个业务域的数据,涉及范围广、数据量大。

    一种面向数字电网业务的可视化监测平台

    公开(公告)号:CN115459444A

    公开(公告)日:2022-12-09

    申请号:CN202211114257.0

    申请日:2022-09-14

    IPC分类号: H02J13/00 G06Q50/06

    摘要: 本发明公开了一种面向数字电网业务的可视化监测平台,包括数据总线,用于将数据中心传输的电网业务数据发送至可视化播放模块;可视化设计模块,用于根据输入的界面定制命令生成界面规范文件,并将界面规范文件发送至可视化播放模块;可视化播放模块,用于根据界面规范文件确定界面播放格式,并将电网业务数据按照界面播放格式进行播放,并将异常数据上传至用户端进行远程播放。本发明不需要用户进行操作便可实现对数字电网业务的全面监测,而且针对监测发现的异常情况能够通过该可视化检测平台进行全方位的展示,极大的减轻了用户对数字电网业务的监测工作,并具有自动介入数据处理以及人工远程介入处理异常数据的能力,简化整个数据监管过程。

    一种数据迁移方法、装置、电子设备以及存储介质

    公开(公告)号:CN114416696A

    公开(公告)日:2022-04-29

    申请号:CN202210066086.2

    申请日:2022-01-20

    摘要: 本申请提供了一种数据迁移方法、装置、电子设备以及存储介质。所述方法应用于数据迁移服务系统,所述方法包括:在第一集群中的源实例产生新的数据时,将所述新的数据作为所述源实例对应的待迁移数据;对于所述待迁移数据中各个类型的数据,采用预设同步方式,通过同步管道将所述数据存储到与数据的类型匹配的队列中;将各个所述队列中的数据输出到第二集群中的目标实例。通过该数据迁移方法,可以在第一集群中的源实例产生新的数据时,立即将新产生的数据同步迁移到第二集群中的目标实例中,实现了ElasticSearch集群之间的数据的实时迁移。