基于弹性网络的序列集成高维数据异常检测系统及方法

    公开(公告)号:CN110941542A

    公开(公告)日:2020-03-31

    申请号:CN201911076540.7

    申请日:2019-11-06

    IPC分类号: G06F11/34

    摘要: 本发明公开了一种基于弹性网络的集成高维数据异常检测系统,包括对应于高维数据中每一维度的单层系统和与每一维度的单层系统连接的总成集成模块;单层系统包括:数据模块;异常打分模块,第一输入端与数据模块连接;选择模块,输入端与异常打分模块的第一输出端连接;弹性网络模块,输入端与选择模块连接,输出端与异常打分模块的第二输入端连接;单层集成模块,与异常打分模块的第二输出端连接;总成集成模块与每一维度的单层集成模块连接。此方法解决了高维数据异常检测的个体预测误差大,检测精度低和稳定性差的问题,实现了高维数据个体预测模型的小误差、高精度,保证了异常检测的稳定性。

    一种基于隔离森林的海量数据异常值检测算法

    公开(公告)号:CN110956248A

    公开(公告)日:2020-04-03

    申请号:CN201811170297.0

    申请日:2018-09-27

    IPC分类号: G06N3/00 G06N3/12

    摘要: 本发明公开了一种新颖的、面向多维数据的改进隔离森林异常值检测算法。利用该算法对于异常值检识别问题,我们只需要通过对原始数据集进行随机采样生成若干个子数据集,然后在每个子数据集上建立隔离树,从而不需要大量的计算和比较。以往的异常值检测需要大量计算每个数据对象之间的距离,此过程非常消耗时间,本发明在检测异常值的时候,并不需要大量的计算和比较,只需要进行隔离树的构建,然后根据建立的适应度函数利用遗传算法将检测准确度高、差异性大的隔离树选择出来,进而生成隔离森林,实现异常值的识别。本发明实现了异常值的精确检测,提高了检测的稳定性,减少了计算消耗和内存占用。