一种数据同步方法、系统及电子设备

    公开(公告)号:CN112100275A

    公开(公告)日:2020-12-18

    申请号:CN202010907131.3

    申请日:2020-09-02

    IPC分类号: G06F16/27

    摘要: 本发明公开一种数据同步方法、系统及电子设备。所述数据同步方法包括:通过Canal服务端监听Mysql数据库中的数据变化,并判断所述数据是否发生变化,若是,则将发生变化后的完整数据存放至Canal连接器中,在配置文件中配置Mysql数据库与ElasticSearch的映射关系,对所述变化后的完整数据进行增量同步操作,对Mysql全量数据进行全量同步操作。本发明能够兼顾业务数据的增量同步和全量同步,而且在业务无感知的情况下实现业务数据的增量同步,与业务逻辑完全解耦。

    一种实时数据分类统计方法、系统、可读介质及设备

    公开(公告)号:CN112084387A

    公开(公告)日:2020-12-15

    申请号:CN202010847108.X

    申请日:2020-08-21

    IPC分类号: G06F16/906 G06F16/953

    摘要: 本发明公开了一种实时数据分类统计方法,包括:由消息中间件kafka获取用户操作工业大数据平台系统而产生的实时操作数据;采用Flink分布式流数据处理引擎对所述实时操作数据进行分类统计,得到对所述实时操作数据的分类统计结果;采用Elasticsearch分布式全文搜索引擎对所述分类统计结果进行分类存储。本发明实现了对用户操作工业大数据平台系统而产生的实时操作数据的分类统计以及分类存储,提高了对数据处理的实时性。本发明还提供了一种实时数据分类统计系统、计算机可读介质及设备。

    一种工业物联网对象存储实时监测系统

    公开(公告)号:CN112104726A

    公开(公告)日:2020-12-18

    申请号:CN202010941031.2

    申请日:2020-09-09

    IPC分类号: H04L29/08 H04L12/26

    摘要: 本发明公开了一种工业物联网对象存储实时监测系统,包括:配置模块,用于读取配置文件,并完成配置信息初始化;文件桶管理模块,用于接收所述Minio client对象,并基于所述Minio client对象管理文件对象的存储空间;对象管理模块,用于对文件对象的管理操作,其中,所述管理操作包括不限于文件对象的上传、下载和删除操作,并基于所述管理操作产生文件对象信息;消息中间件模块,用于接收所述文件对象信息的实施信息,以进行监测管理。结合对象存储及分布式消息中间件实现对文件对象存储实时监测,保障了工业现场海量数据文件被集中管理、实时监测,并极大提高了数据使用的可复用性并降低维护成本。

    一种基于MinIO工业质检文件分布式存储方法

    公开(公告)号:CN112579567B

    公开(公告)日:2022-02-08

    申请号:CN202011471657.8

    申请日:2020-12-14

    摘要: 本发明公开了一种基于MinIO工业质检文件分布式存储方法,包括顺次连接的数据预处理模块、数据同步模块、数据存储模块以及数据清洗模块,包括顺次开展的数据预处理阶段、数据同步阶段、数据存储阶段以及数据清洗阶段。该基于MinIO工业质检文件分布式存储系统及方法,解决了海量质检图片大量存储导致的系统扩展差、资源利用率低的问题,MinIO本身较为轻量,能进一步降低运维维护成本。

    线程间的数据更新方法、装置和存储介质

    公开(公告)号:CN112699138A

    公开(公告)日:2021-04-23

    申请号:CN202110011353.1

    申请日:2021-01-06

    IPC分类号: G06F16/23 G06F9/52

    摘要: 本申请公开了一种线程间的数据更新方法、装置和存储介质,涉及计算机技术领域,所述方法包括:接收数据更新指令,所述数据更新指令为目标线程请求更新目标内存地址中的数据的CAS操作指令,所述目标内存地址供至少两个线程共享;在所述目标内存地址中的数据与预期原值相同时,检测所述目标内存地址中的数据的版本号是否为0;若所述目标内存地址中的数据的版本号为0,则所述目标线程对所述数据以及所述数据的版本号进行更新。解决了现有技术中可能存在的ABA问题,达到了可以通过设置的版本号来区分数据中间是否被修改进而避免ABA问题的效果。

    对微服务实现动态灰度策略的方法及微服务系统

    公开(公告)号:CN112565469A

    公开(公告)日:2021-03-26

    申请号:CN202110201187.1

    申请日:2021-02-23

    IPC分类号: H04L29/08 G06F9/445

    摘要: 本申请揭示了一种对微服务实现动态灰度策略的方法及微服务系统,该方法包括网关从配置中心apollo中加载与网关对应的路由策略,路由策略中包含有服务组标识TID;子服务从配置中心apollo中加载子服务的服务实例标识SID;网关在接收到访问请求后,获取访问请求中的头信息,根据路由策略,确定与头信息对应的TID,将头信息透传至TID对应的下游子服务;子服务在接收到上游子服务发送的头信息后,获取头信息所对应的SID,将SID添加至Feign请求的头部,向具备SID的下游子服务发送Feign请求。本申请通过设置TID与SID,实现分层次的路由策略控制,以轻量级的方式实现微服务集群不同版本有效隔离,支持多版本同时在集群中运行。

    一种工业质检文件上传服务器端近实时进度监控方法

    公开(公告)号:CN112351111A

    公开(公告)日:2021-02-09

    申请号:CN202011607290.8

    申请日:2020-12-30

    摘要: 本发明公开了一种工业质检文件上传服务器端近实时进度监控方法,工业质检文件上传过程中的实时进度信息结果通过数据推送模块实时推送到各个目标系统,具体包括如下步骤:启动应用及加载系统配置;接收客户端请求并进入数据监控模块;数据监控模块根据固定BUFFER_SIZE判断是否可写,如果文件内容可读长度不小于BUFFER_SIZE长度,则调用数据存储模块;数据存储模块根据调用将实时已读取的文件内容总字节数写入数据存储模块中;根据写入数据存储模块成功后触发数据推送模块并实时推送已读取的字节数到各个目标系统。该工业质检文件上传服务器端近实时进度监控方法获取文件上传的近实时进度信息,极大提升交互体验。

    一种工业质检文件上传服务器端近实时进度监控方法

    公开(公告)号:CN112351111B

    公开(公告)日:2023-01-03

    申请号:CN202011607290.8

    申请日:2020-12-30

    摘要: 本发明公开了一种工业质检文件上传服务器端近实时进度监控方法,工业质检文件上传过程中的实时进度信息结果通过数据推送模块实时推送到各个目标系统,具体包括如下步骤:启动应用及加载系统配置;接收客户端请求并进入数据监控模块;数据监控模块根据固定BUFFER_SIZE判断是否可写,如果文件内容可读长度不小于BUFFER_SIZE长度,则调用数据存储模块;数据存储模块根据调用将实时已读取的文件内容总字节数写入数据存储模块中;根据写入数据存储模块成功后触发数据推送模块并实时推送已读取的字节数到各个目标系统。该工业质检文件上传服务器端近实时进度监控方法获取文件上传的近实时进度信息,极大提升交互体验。

    工业质检图片的校验方法、装置

    公开(公告)号:CN112306575A

    公开(公告)日:2021-02-02

    申请号:CN202011192490.1

    申请日:2020-10-30

    IPC分类号: G06F9/445 G06T7/00

    摘要: 本发明提供一种工业质检图片的校验方法、装置,所述方法包括:扫描并加载配置信息;接收客户端发起的预校验请求;从预校验请求中依次解析,以获取需要校验的文件对象;获取调用所述需要校验的文件对象的业务校验责任组件链,根据配置信息判断业务校验责任组件链中的组件是否需要校验;如果判断组件需要进行校验,则发起校验;获取校验结果,如果通过校验且存在下一个组件,则向下一个组件发起校验。该方法采用责任链设计模式,可以达到热插拔、灵活调整动态校验目的,进而可以提高实际生产效率。