一种基于大数据机器学习的异常行为发现方法

    公开(公告)号:CN111639497B

    公开(公告)日:2021-01-15

    申请号:CN202010461115.6

    申请日:2020-05-27

    IPC分类号: G06F40/289 G06K9/62 G06N20/00

    摘要: 本发明公开了一种基于大数据机器学习的异常行为发现方法,包括以下步骤:创建工作环境:建立学习单元、知识库单元、执行单元和反馈单元,学习单元分别与知识库单元和执行单连接,执行单元与反馈单元连接,反馈单元与知识库单元连接;数据预处理:通过学习单元统计一个周期内的原始日志数据。本基于大数据机器学习的异常行为发现方法,通过数值型数据库和字符型数据库分类对不同的类型的数据建立知识库,存储异常行为数据和正常行为数据,能够有针对的对数据进分类判定,提高判定的准确性,另外阈值分为数值型正常行为阈值、数值型异常行为阈值、字符型正常行为阈值和字符型异常行为阈值,将阈值范围缩小,减小需要人为判定的异常行为。

    一种分布式元数据管理方法和系统

    公开(公告)号:CN111737017B

    公开(公告)日:2020-12-18

    申请号:CN202010840008.4

    申请日:2020-08-20

    IPC分类号: G06F9/50

    摘要: 本发明提供了一种分布式元数据管理方法及系统。包括获取元数据,并将所述元数据储存在预先构建的分布式管理系统的储存节点;在所述储存节点上通过静态负载均衡策略和动态负载均衡策略,得到优化元数据;基于目录重定向表格确定所述目录重定向表格到存储节点的路径,根据所述优化元数据,构建静态和动态均衡调控的元数据储存集群。本发明的有益效果在于:本发明通过不同的储存节点可以使得元数据分类清晰且清楚。便于规划管理和划分。通过在储存节点设置负载均衡策略,可以使得数据得到优化。通过目录重定向表格构建了储存节点和元数据的传输路径,通过集群式的分布式储存系统,对元数据进行管理。

    一种分布式元数据管理方法和系统

    公开(公告)号:CN111737017A

    公开(公告)日:2020-10-02

    申请号:CN202010840008.4

    申请日:2020-08-20

    IPC分类号: G06F9/50

    摘要: 本发明提供了一种分布式元数据管理方法及系统。包括获取元数据,并将所述元数据储存在预先构建的分布式管理系统的储存节点;在所述储存节点上通过静态负载均衡策略和动态负载均衡策略,得到优化元数据;基于目录重定向表格确定所述目录重定向表格到存储节点的路径,根据所述优化元数据,构建静态和动态均衡调控的元数据储存集群。本发明的有益效果在于:本发明通过不同的储存节点可以使得元数据分类清晰且清楚。便于规划管理和划分。通过在储存节点设置负载均衡策略,可以使得数据得到优化。通过目录重定向表格构建了储存节点和元数据的传输路径,通过集群式的分布式储存系统,对元数据进行管理。

    一种基于大数据机器学习的异常行为发现方法

    公开(公告)号:CN111639497A

    公开(公告)日:2020-09-08

    申请号:CN202010461115.6

    申请日:2020-05-27

    IPC分类号: G06F40/289 G06K9/62 G06N20/00

    摘要: 本发明公开了一种基于大数据机器学习的异常行为发现方法,包括以下步骤:创建工作环境:建立学习单元、知识库单元、执行单元和反馈单元,学习单元分别与知识库单元和执行单连接,执行单元与反馈单元连接,反馈单元与知识库单元连接;数据预处理:通过学习单元统计一个周期内的原始日志数据。本基于大数据机器学习的异常行为发现方法,通过数值型数据库和字符型数据库分类对不同的类型的数据建立知识库,存储异常行为数据和正常行为数据,能够有针对的对数据进分类判定,提高判定的准确性,另外阈值分为数值型正常行为阈值、数值型异常行为阈值、字符型正常行为阈值和字符型异常行为阈值,将阈值范围缩小,减小需要人为判定的异常行为。