一种基于分布式存储系统的数据缓存加速的方法

    公开(公告)号:CN117785052A

    公开(公告)日:2024-03-29

    申请号:CN202311827428.9

    申请日:2023-12-28

    IPC分类号: G06F3/06

    摘要: 本发明提供一种基于分布式存储系统的数据缓存加速的方法,属于大数据、分布式存储领域,在计算框架与存储层之间设计了分布式存储系统,分布式存储系统通过将存储层中的异构存储进行统一接入,为计算框架和存储层构建了桥梁,使存储与计算实现了分离。同时,分布式存储系统设计了全局的命名空间、接口适配器,为计算框架提供了统一的API和全局命名空间。另外,基于内存的分布式设计和LFU、LRU算法,分布式存储系统将存储层中的访问数据拉取到本地的内存中,并根据LFU、LRU等算法对数据进行淘汰,当拉取的数据量达到预设的容量限制后,将会触发内存数据淘汰机制,从而使得热点数据总是存储在分布式存储系统的内存中,因此大大提升了热点数据的访问速度。

    一种基于异构微服务自动发现的方法

    公开(公告)号:CN117675901A

    公开(公告)日:2024-03-08

    申请号:CN202311618430.5

    申请日:2023-11-30

    IPC分类号: H04L67/51 H04L67/54

    摘要: 本发明提供一种基于异构微服务自动发现的方法,属于微服务框架中的注册中心技术领域,本发明定义了一套分布式注册中心接口,构建了一个兼容多种微服务框架及多种注册中心的系统,支持SpringCloud、Dubbo、Isito等微服务框架,Consul、Eureka、Nacos、Kubernetes服务发现等服务注册中心。通过封装标准接口,实现自动获取不同类型微服务架构中的服务,消除了不同微服务框架的差异,打破了多种注册中心之间的联系壁垒,集成各注册中心工具的优势,为微服务自动发现提供了便捷性和统一性,以适应多样化的产品应用场景。

    一种通用的多容器平台镜像管理系统

    公开(公告)号:CN117632362A

    公开(公告)日:2024-03-01

    申请号:CN202311542445.8

    申请日:2023-11-20

    摘要: 本发明公开一种通用的多容器平台镜像管理系统,涉及镜像管理技术领域,包括:接口模块,用于适配多种容器平台,向外提供镜像管理操作的接口,并支持调度不同的镜像仓库类型;镜像操作模块,用于根据用户的角色和权限信息访问镜像仓库并执行相应的镜像管理操作;镜像仓库,用于存放并管理镜像文件;数据库,用于存储用户的角色和权限信息,还用于存储用户执行镜像管理操作的具体信息。本发明支持多种常见的容器平台,使得用户可以在不同的平台上实现对不同镜像仓库中的镜像进行统一管理,提供一致的使用接口和操作方式。

    基于深度学习半监督的复杂网络分类方法及系统

    公开(公告)号:CN117473354A

    公开(公告)日:2024-01-30

    申请号:CN202311417017.2

    申请日:2023-10-30

    摘要: 本发明公开了基于深度学习半监督的复杂网络分类方法及系统,属于复杂网络社团划分技术领域,本发明要解决的技术问题为如何实现社团划分精度的同时降低复杂度,采用的技术方案为:该方法是采用深度学习半监督的方式对大型复杂网络进行半监督图表示学习,将高维空间的数据降维得到向量化特征表示,在进行聚类划分,得到社团结构;具体如下:获取网络结构信息;构建目标损失函数;利用深度稀疏自动编码器做无监督学习;利用拉普拉斯矩阵做监督学习;社团划分。该系统包括获取模块、构建模块、学习模块一、学习模块二及划分模块。

    一种FTP持久化数据处理方法及系统

    公开(公告)号:CN117472682A

    公开(公告)日:2024-01-30

    申请号:CN202311376634.2

    申请日:2023-10-23

    IPC分类号: G06F11/30 G06F16/23

    摘要: 本发明涉及Flink领域,具体提供了一种FTP持久化数据处理方法及系统,基于Flink,具有如下步骤:S1、FTP数据读取;S2、启用FTP数据监听模式;S3、FTP文件数据收集。与现有技术相比,本发明能够;提出基于Flink的FTP数据持久化监听模式,实现对FTP数据动态实时更新,进一步提升对复杂性较高的FTP数据进行快速、有效地处理的能力。

    一种基于跨网环境下的高并发数据采集方法

    公开(公告)号:CN117435438A

    公开(公告)日:2024-01-23

    申请号:CN202311499683.5

    申请日:2023-11-13

    IPC分类号: G06F11/30

    摘要: 本发明公开一种基于跨网环境下的高并发数据采集方法,涉及数据采集技术领域;构建资源解析器,通过资源管理组件配置管理,将服务器、网络设备、虚拟机和中间件按照CMDB模式配置监控参数,通过资源管理组件接入需要采集设备将设备信息及监控指标利用通知组件同步到Zabbix组件,通过资源解析器接入kafka集群,通过资源管理组件内数据模型解析kafka中传递过来的数据,通过监控组件配置监控对象、监控指标和告警模板,通过资源收集组件根据监控对象、监控指标进行数据采集,通过告警组件根据监控对象、监控指标和告警模板进行异常指标的问题排查与定位,通过资源解析器提供标准化及规范化API,提供自定义多项配置数据联合查询,以及全站检索。

    一种基于flink流式数据自动上链的方法

    公开(公告)号:CN117313117A

    公开(公告)日:2023-12-29

    申请号:CN202311154157.5

    申请日:2023-09-08

    摘要: 本发明公开一种基于flink流式数据自动上链的方法,涉及数据上链技术领域,包括:定义组网信息、通道信息、节点信息以及合约信息四个区块链元模型;目标平台产生的实时数据保存在kafka中,flink配置kafka数据读取组件,读取kafka中的实时数据,进行清洗和转换,得到目标数据;读取目标数据,将sink对接区块链组件,通过flink的定时任务,自动将读取的数据写入到区块链中;数据上链之后,同一链下所有节点的用户都可以对上链数据进行查看。本发明可以高效准确的处理数据,有效实现区块链的数据治理,保障数据存储和传输安全性和隐私保护性,促进数据共享和流动。

    一种多云平台的统一监控运维管理方法及系统

    公开(公告)号:CN117194156A

    公开(公告)日:2023-12-08

    申请号:CN202311154163.0

    申请日:2023-09-08

    IPC分类号: G06F11/30 G06F11/32 G06Q10/10

    摘要: 本发明公开一种多云平台的统一监控运维管理方法及系统,涉及资源监控技术领域,管理方法包括:根据云平台的接入信息,云平台获取各类资源的API标准接口、数据格式、请求方式、权限信息,配置统一的资源适配采集器,完成不同云平台上各类资源的接入适配;通过配置管理数据库CMDB完成各类资源的属性配置信息的全生命周期管理以及维护各配置项之间的关系;指定监控资源的类型或监控指标,通过监控组件对指定目标进行监控,监控数据通过RestAPI接口传送至可视化大屏进行展示。本发明可以通过统一的资源适配采集器可以接入多家云服务厂商的云资源,通过CMDB行统一纳管,实现接入资源的全面、统一、多维度、可视化的监控管理。

    一种解决行业云平台快速集成第三方中间件的方法

    公开(公告)号:CN116346894A

    公开(公告)日:2023-06-27

    申请号:CN202310182535.4

    申请日:2023-03-01

    IPC分类号: H04L67/51 H04L67/133

    摘要: 本发明公开一种解决行业云平台快速集成第三方中间件的方法,涉及云平台技术领域,包括:开发第三方服务接入适配器,使其具备接入第三方中间件的接口及实现,开发第三方中间件的适配接入包,实现接口对应的处理逻辑;将适配接入包封装成jar包;将jar包导入云平台;导入成功后,将适配接入包发布至云服务商店,供开发者进行按需申请;开发者通过云服务商店自助按需申请第三方中间件,通过审批后,云平台自动调用第三方服务接入适配器的接口,并自动触发对应适配接入包的接口实现处理逻辑,完成第三方中间件基于云平台的自动化创建。本发明解决了行业私有化云平台建成后无法融合第三方商业化中间件,导致行业内部已建资源严重浪费的问题。

    一种基于元模型的异构数据库元数据采集方法及工具

    公开(公告)号:CN114428772A

    公开(公告)日:2022-05-03

    申请号:CN202210015472.9

    申请日:2022-01-07

    IPC分类号: G06F16/21 G06F16/28

    摘要: 本发明公开一种基于元模型的异构数据库元数据采集方法及工具,涉及元数据管理技术领域,包括:基于数据库基本信息和数据库配置信息,制定数据库模型;基于制定的数据库模型,定义不同对象的元模型信息;定义基于不同对象的元模型之间的关系,进行不同元数据的逐级采集;定义数据库模型的驱动信息,定义元模型对应驱动中元数据采集类的采集方法,上传至数据库;定义元模型对应驱动中元数据采集类的采集方法返回值与元模型的映射关系,以在元数据采集时将元模型实例化为元数据;初始化数据库信息,生成元数据采集任务,进行元数据的采集。本发明可以实现异构数据库的元数据采集支持,实现高效、快捷的元数据采集管理。