基于深度学习半监督的复杂网络分类方法及系统

    公开(公告)号:CN117473354A

    公开(公告)日:2024-01-30

    申请号:CN202311417017.2

    申请日:2023-10-30

    摘要: 本发明公开了基于深度学习半监督的复杂网络分类方法及系统,属于复杂网络社团划分技术领域,本发明要解决的技术问题为如何实现社团划分精度的同时降低复杂度,采用的技术方案为:该方法是采用深度学习半监督的方式对大型复杂网络进行半监督图表示学习,将高维空间的数据降维得到向量化特征表示,在进行聚类划分,得到社团结构;具体如下:获取网络结构信息;构建目标损失函数;利用深度稀疏自动编码器做无监督学习;利用拉普拉斯矩阵做监督学习;社团划分。该系统包括获取模块、构建模块、学习模块一、学习模块二及划分模块。

    一种FTP持久化数据处理方法及系统

    公开(公告)号:CN117472682A

    公开(公告)日:2024-01-30

    申请号:CN202311376634.2

    申请日:2023-10-23

    IPC分类号: G06F11/30 G06F16/23

    摘要: 本发明涉及Flink领域,具体提供了一种FTP持久化数据处理方法及系统,基于Flink,具有如下步骤:S1、FTP数据读取;S2、启用FTP数据监听模式;S3、FTP文件数据收集。与现有技术相比,本发明能够;提出基于Flink的FTP数据持久化监听模式,实现对FTP数据动态实时更新,进一步提升对复杂性较高的FTP数据进行快速、有效地处理的能力。

    一种基于flink流式数据自动上链的方法

    公开(公告)号:CN117313117A

    公开(公告)日:2023-12-29

    申请号:CN202311154157.5

    申请日:2023-09-08

    摘要: 本发明公开一种基于flink流式数据自动上链的方法,涉及数据上链技术领域,包括:定义组网信息、通道信息、节点信息以及合约信息四个区块链元模型;目标平台产生的实时数据保存在kafka中,flink配置kafka数据读取组件,读取kafka中的实时数据,进行清洗和转换,得到目标数据;读取目标数据,将sink对接区块链组件,通过flink的定时任务,自动将读取的数据写入到区块链中;数据上链之后,同一链下所有节点的用户都可以对上链数据进行查看。本发明可以高效准确的处理数据,有效实现区块链的数据治理,保障数据存储和传输安全性和隐私保护性,促进数据共享和流动。

    一种多模块数据库脚本初始化方法及装置

    公开(公告)号:CN116974522A

    公开(公告)日:2023-10-31

    申请号:CN202310433391.5

    申请日:2023-04-21

    发明人: 田浩 路国隋

    IPC分类号: G06F8/20 G06F9/445 G06F16/21

    摘要: 本发明涉及脚本初始化领域,具体提供了一种多模块数据库脚本初始化方法及装置,统一约定Liquibase数据库初始化脚本存放位置,然后扫描依赖jar包下的数据库初始化脚本,手动构建并注册实例bean,最后在启动时调用各模块Liquibase实例bean执行依赖jar包下的数据库初始化脚本,实现数据库初始化操作。与现有技术相比,本发明减少手动管理数据库的效率低下和出错率高的问题,便于数据库版本的更替,降低了后续程序部署维护过程中的人力与时间成本。

    一种基于元模型的异构数据库元数据采集方法及工具

    公开(公告)号:CN114428772A

    公开(公告)日:2022-05-03

    申请号:CN202210015472.9

    申请日:2022-01-07

    IPC分类号: G06F16/21 G06F16/28

    摘要: 本发明公开一种基于元模型的异构数据库元数据采集方法及工具,涉及元数据管理技术领域,包括:基于数据库基本信息和数据库配置信息,制定数据库模型;基于制定的数据库模型,定义不同对象的元模型信息;定义基于不同对象的元模型之间的关系,进行不同元数据的逐级采集;定义数据库模型的驱动信息,定义元模型对应驱动中元数据采集类的采集方法,上传至数据库;定义元模型对应驱动中元数据采集类的采集方法返回值与元模型的映射关系,以在元数据采集时将元模型实例化为元数据;初始化数据库信息,生成元数据采集任务,进行元数据的采集。本发明可以实现异构数据库的元数据采集支持,实现高效、快捷的元数据采集管理。

    一种面向对象的安全运维方法及系统

    公开(公告)号:CN118822492A

    公开(公告)日:2024-10-22

    申请号:CN202410792668.8

    申请日:2024-06-19

    摘要: 本发明特别涉及一种面向对象的安全运维方法及系统。该面向对象的安全运维方法,引入面向对象思想,定义运维对象,构建运维对象模型;同时,创建一个业务语义层,将业务对象与其底层数据对象和存储组件解耦;根据运维对象的特点和需求进行分类分级,以制定差异化的运维策略;针对每个运维对象定义运维操作,对运维操作进行分类分级,建立权限控制和审批机制;通过可视化的流程编排工具,基于运维对象模型及运维操作定义运维流程;根据不同的运维场景自动选择合适的运维流程和操作,实现场景化运维。该面向对象的安全运维方法及系统,通过引入面向对象的思想和方法,实现了运维工作的标准化、自动化和智能化。

    异构数据源的统一管理方法、系统、设备及介质

    公开(公告)号:CN118643085A

    公开(公告)日:2024-09-13

    申请号:CN202410797115.1

    申请日:2024-06-20

    摘要: 本发明公开了异构数据源的统一管理方法、系统、设备及介质,属于数据管理技术领域,本发明要解决的技术问题为如何整合结构化与非结构化数据源,达到异构数据源的统一有效管理,采用的技术方案为:定义标准化模型:根据各个数据源共性特点,整合内部元素的特征关系,定义统一的元模型;数据源权限控制:根据标准化模型获取一种元数据,即可生成一个数据源,记录用户与数据源之间的映射关系,定义一个用户ID,标注为数据源的一个属性,用户获取数据源时,用户只能获取与自身ID有关的数据源;数据源统一日志:定义统一的日志模型,记录用户操作日志,同时标准化输出数据源系统内部日志。

    一种数据采集处理方法、系统及装置

    公开(公告)号:CN117493431A

    公开(公告)日:2024-02-02

    申请号:CN202311386874.0

    申请日:2023-10-25

    IPC分类号: G06F16/25 G06F16/27 G06F16/23

    摘要: 本发明涉及计算机大数据处理分析技术领域,具体提供了一种数据采集处理方法、系统及装置,具有如下步骤:S1、搭建基于分布式资源管理的模块化处理执行引擎;S2、将数据保存至数据库;S3、使用不同模块的API接口,进行多线程抽取。与现有技术相比,本发明能够构建的分布式模块化的数据处理平台及系统,与现有数据处理分析系统相比,着重优化了不同子功能的统一执行逻辑,将不同功能进行模块化,能够合理使用不同模块来分配任务运行压力;有效缩短了用户使用系统分析数据建立任务的时间。同时开发运维系统,提升了数据处理分析的灵活性和统一性。

    一种基于数据元的敏感数据自动分级方法及装置

    公开(公告)号:CN117235246A

    公开(公告)日:2023-12-15

    申请号:CN202311289651.2

    申请日:2023-10-07

    摘要: 本发明公开了一种基于数据元的敏感数据自动分级方法及装置,属于数据安全技术领域,该方法的实现包括以下步骤:1)、采集数据源的元数据;2)、利用机器学习算法,元数据自动标识数据元:利用机器学习算法构建标识模型,将未标记的元数据输入已训练好的模型,自动标识元数据匹配的数据元;3)、可视化配置基于数据元的敏感规则,定义敏感级别;4)、数据访问过程中敏感数据的自动分级:根据元数据标识的数据元,判断数据是否匹配对应的敏感规则,得到数据内容的多个敏感级别,取敏感级别最高的最小值作为整行数据的敏感级别。本发明能够有效地识别和分级敏感数据,以确保其得到适当的保护和处理。

    一种数据标准管理方法及装置
    10.
    发明公开

    公开(公告)号:CN115687316A

    公开(公告)日:2023-02-03

    申请号:CN202211224737.2

    申请日:2022-10-09

    IPC分类号: G06F16/215

    摘要: 本发明涉及元模型领域,具体提供了一种数据标准管理方法,具有如下步骤:S1、数据标准维护;S2、数据标准定版;S3、标准落地映射;S4、标准落地评估。与现有技术相比,本发明及时发现现有系统标准问题,支撑系统改造,减少数据转换,促进系统集成,提高数据质量。