一种实时智能业务决策方法、装置、设备及介质

    公开(公告)号:CN118429103A

    公开(公告)日:2024-08-02

    申请号:CN202410793159.7

    申请日:2024-06-19

    IPC分类号: G06Q40/04 G06F16/2455

    摘要: 本发明涉及计算机技术领域,公开了一种实时智能业务决策方法、装置、设备及介质,应用于风控系统的决策引擎,包括:在风控系统监控交易活动时,接收交易活动中待决策业务下的至少一个决策规则;决策规则包含不同类型的决策指标;选择决策规则中同一类型的决策指标来组成对应的决策条件,并确定各决策条件之间的逻辑关系;根据决策指标的获取成本和各决策条件之间的逻辑关系,生成决策规则的决策拓扑图;利用决策拓扑图对决策规则进行实时智能决策,输出交易活动中待决策业务对应的决策结果。这样的决策过程无需加载全部决策指标,能够极大地加快决策的速度,提高决策的性能,解决了实时业务决策场景下不同类指标加载引发决策性能的问题。

    一种中间态时序协调计算方法、装置、设备及存储介质

    公开(公告)号:CN118227302B

    公开(公告)日:2024-08-06

    申请号:CN202410658563.3

    申请日:2024-05-27

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本申请公开了一种中间态时序协调计算方法、装置、设备及存储介质,涉及数据分析领域,包括:通过时序调度节点生成与计算节点对应的有序节点集合,并确定有序节点集合中每个计算节点对应的时间分段;确定每条待处理时序数据对应的目标时间分段,以将每条待处理时序数据发送至目标时间分段对应的目标计算节点;通过目标计算节点基于维度信息对待处理时序数据进行合并,以得到若干时序聚合态对象,并基于维度信息分别将若干时序聚合态对象发送至对应的汇总节点;通过汇总节点对节点内的所有时序聚合态对象进行合并,以得到目标聚合结果。由此,能够最大限度的利用计算资源,提高聚合计算的性能和稳定性。

    一种时序数据中间态存储方法、装置、设备及存储介质

    公开(公告)号:CN118260295A

    公开(公告)日:2024-06-28

    申请号:CN202410676029.5

    申请日:2024-05-29

    摘要: 本申请公开了一种时序数据中间态存储方法、装置、设备及存储介质,涉及数据处理技术领域,应用于特征计算系统,包括:从业务系统获取待处理事件;并解析得到相应的主键、特征键以及各时间戳对应的中间态数据;主键对应待处理事件的业务对象,特征键描述业务对象的特征名称;根据预设时间戳聚合条件对相应数量时间戳对应的中间态数据进行聚合,并基于聚合后中间态数据生成时间键;时间键用于表征聚合后中间态数据对应的时间范围;基于主键、特征键以及时间键将相关中间态数据存储至预设存储介质,完成针对待处理事件的时序数据中间态存储过程。这样一来,本申请添加时间键,以三级键加数据的结构保存数据,可以快速定位指定时间戳的中间态数据。

    一种数据表合并方法、装置、设备及存储介质

    公开(公告)号:CN117725897A

    公开(公告)日:2024-03-19

    申请号:CN202311782708.2

    申请日:2023-12-22

    IPC分类号: G06F40/18 G06F16/22

    摘要: 本发明公开了一种数据表合并方法、装置、设备及存储介质,涉及大数据处理技术领域以及数据分析领域,包括:获取第一数据表和第二数据表,将第一数据表与第二数据表纵向拼接得到目标数据表;获取目标数据表的数据表分区中的目标数据行,判断目标数据行的常量列中包含的数据表标识信息是否为第一数据表对应的第一常量值;若数据表标识信息为第一常量值则判断目标数据行的目标维度值与内存数据行对应的内存维度值是否相同,得到判断结果;基于判断结果执行预设数据处理操作,得到目标合并表。本发明在两张表存在关联维度不唯一且两张表都是具备时间概念时,按照时间以及关联维度对两张表进行时序合并,提高了表合并的准确性并降低了数据量。

    一种时序数据的复杂事件处理方法及系统

    公开(公告)号:CN111984861B

    公开(公告)日:2022-10-11

    申请号:CN202010754365.9

    申请日:2020-07-30

    摘要: 本发明公开了一种时序数据的复杂事件处理方法及系统,首先定义复杂事件模式,包括复杂事件标签序列和相邻标签间的时间距离限定,获取到事件的标签和时间戳后,读取计算机存储器中的中间结果并进行归并处理,最后进行复杂事件判定,查询的判定结果不仅包括复杂事件是否触发,还包括触发次数。本发明克服了现有技术方案中耗时长、效率低的缺陷,能快速地进行海量时序数据的复杂事件处理,另外,本发明提前计算好了中间结果,所以在查询时避免了大量无用的计算机重复运算,响应速度极快;此外,中间结果是跟着系统时间移动而不断变化的,能够达到时间窗口平滑移动的目的。本发明能够显著提升时序数据的复杂事件处理的效率。

    一种时序指标的指标值确定方法、装置、设备及介质

    公开(公告)号:CN118229158A

    公开(公告)日:2024-06-21

    申请号:CN202410658515.4

    申请日:2024-05-27

    摘要: 本发明公开了一种时序指标的指标值确定方法、装置、设备及介质,应用于安全监测领域,本方法基于具有时序要求的不同安全监测指标的指标特征,按照数据类型、过滤条件、窗口类型完全相同的原则,构建出共享窗口,同一簇内的所有指标均可以用该簇对应的共享窗口进行指标值的确定。相较于传统的一对一窗口确定指标值,提高了计算效率,而且也无需大量内存空间,节省了资源;并且本方法还可以支持众多指标和众多数据类型的指标值确定,满足复杂的业务需求;不同指标的精准窗口复用,可以节省资源、提高计算效率。

    一种面向内存键值表的子集过滤器

    公开(公告)号:CN114676136B

    公开(公告)日:2024-06-18

    申请号:CN202210312977.1

    申请日:2022-03-28

    IPC分类号: G06F16/22 G06F16/23

    摘要: 本发明公开了一种面向内存键值表的子集过滤器,主要分为五个部分:子集过滤器的定义、子集过滤器的数据项存储、子集过滤器的数据项更新、子集过滤器的重建和子集过滤器的扫描。本发明支持任意类型指标数据的过滤,支持指定任意数据特征的过滤,从而提供灵活的扫描方式,并且扫描时不需要遍历全部的指标数据,有效加速扫描操作。本发明可应用于大部分的内存键值表,具有一定的通用性。

    一种基于服务器节点硬件资源密度的数据分片方法

    公开(公告)号:CN114629908B

    公开(公告)日:2023-10-13

    申请号:CN202210312982.2

    申请日:2022-03-28

    摘要: 本发明公开了一种基于服务器节点硬件资源密度的数据分片方法。该方法主要分为五个部分:服务器节点硬件资源密度的定义、散列环的定义、服务器节点负责的数据分片规则、服务器节点加入集群后的数据分片变更与服务器节点离开集群后的数据分片变更。该方法实现了相对平均的数据分片,提高集群横向扩展能力,并考虑到服务器节点硬件资源的影响,使得硬件资源多的节点分配到更多的数据分片,同时硬件资源少的节点分配到较少的数据分片,充分利用集群内服务器的硬件资源。此外,该方法在集群内服务器节点增加或删除时,调整数据分片时传输数据量较小,能更快速的调整数据分片的分布。

    一种基于时序中间态数据结构的数据聚合方法

    公开(公告)号:CN111522846B

    公开(公告)日:2023-08-22

    申请号:CN202010273950.7

    申请日:2020-04-09

    IPC分类号: G06F16/2455 G06F16/2458

    摘要: 本发明公开了一种基于时序中间态数据结构的数据聚合方法,时序中间态数据结构包括主键、特征键和数据;主键用于关联业务系统中一个特定的业务对象,对数据的存储和计算进行负载均衡,特征键用于描述特定业务对象的特征名称,数据为业务系统中的事件经过特征计算系统处理后形成的数值及其计算方法,用于时序中间态数据合并操作时计算中间结果。数据聚合方法基于时序中间态数据结构,通过将事件转换成若干条中间态数据,存储至对应的缓存队列中,再根据中间态数据的主键、特征键以及时间戳对中间态数据进行合并,最后存储进到存数据库中。本发明方法能够减少系统的IO负载,减少并合理分配系统的计算负载。

    一种基于自适应PCA的流数据进化聚类方法及装置

    公开(公告)号:CN114840377A

    公开(公告)日:2022-08-02

    申请号:CN202210265861.7

    申请日:2022-03-17

    IPC分类号: G06F11/30 G06K9/62

    摘要: 本发明公开了一种基于自适应PCA的流数据进化聚类方法及装置,针对流数据进行矩阵化处理,利用数据矩阵的协方差矩阵的特征向量单位化以及对应特征值的对数线性特性,自适应地选取一定数量的主成分进行分析,使得流数据降维的维度选择可以自适应调整;针对流数据的聚类方法,引用进化聚类思想进行聚类中心的进化与抛弃过程,使得聚类中心通过流数据的不断输入而更新。通过进化扩展微簇为宏簇的思想使得数据聚类结果不局限于固定形状,且对于“概念漂移”问题提供了一个很好的适应性;对于特殊的数据会很容易判定为异常点,并且随着时间而抛弃消失;降维后的聚类计算量也有所降低。