一种大数据分析系统的数据条件筛选方法

    公开(公告)号:CN116975116A

    公开(公告)日:2023-10-31

    申请号:CN202310958725.0

    申请日:2023-08-01

    摘要: 本发明提供一种大数据分析系统的数据条件筛选方法,涉及数据库数据筛选技术领域。该大数据分析系统的数据条件筛选方法,包括以下步骤:S1.数据获取、S2.数据预处理、S3.定制筛选条件、S4.数据查询、S5.数据过滤、S6.数据聚合和分析。本发明的大数据分析系统的数据条件筛选方法基于SQL重写的数据过滤技术,可以充分利用数据库系统的优化器和执行引擎来优化查询计划,从而提高查询性能并减少资源消耗,数据过滤技术能够过滤部分信息数据而得到特定的数据,使其满足不同场景下不同实际业务的需求,且可以同时处理大规模数据集上的数据条件筛选操作,实现数据分析的高效性和实时性,并提供准确和可靠的数据分析结果,极大地提高了开发效率和代码的可靠性。