一种金融业务下的数据处理方法及装置

    公开(公告)号:CN118967328A

    公开(公告)日:2024-11-15

    申请号:CN202411064520.9

    申请日:2024-08-05

    摘要: 本申请公开了一种金融业务下的数据处理方法及装置,方法包括获取样本集,样本集中业务对象为实验对象或对照对象;根据每个业务对象在目标金融业务下的历史交易额进行样本分桶,得到多个样本桶,再根据样本集中每个业务对象在目标特征维度下的特征值,对样本集进行子集划分,得到基于目标特征维度划分出的多个样本子集;根据每个样本子集中实验对象在多个样本桶中的数量分布与对照对象在多个样本桶中的数量分布,计算基于目标特征维度划分出的多个样本子集的样本差异度,当样本差异度大于或等于预设差异度,在基于目标特征维度划分出的每个样本子集内进行对象匹配,得到目标样本集,可以提升样本随机性。

    基于联邦学习的模型训练方法
    4.
    发明公开

    公开(公告)号:CN118944926A

    公开(公告)日:2024-11-12

    申请号:CN202410996351.6

    申请日:2024-07-24

    IPC分类号: H04L9/40 G06N20/00

    摘要: 本申请公开了一种基于联邦学习的模型训练方法,包括:获取协调方发送的与当前参与方对应的预设数据长度的混淆因子数据组和混淆承诺;其中,混淆因子数据组和混淆承诺由协调方基于多个参与方提供的样本数据和参与方数量生成;根据混淆因子数据组和混淆承诺进行数据加密处理,得到当前参与方的加密数据;基于当前参与方的加密数据进行模型计算,得到当前参与方的计算结果;将当前参与方的计算结果发送至协调方,以获取协调方基于多个参与方的计算结果反馈的汇总计算结果,并根据汇总计算结果对模型参数进行调整。本申请技术方案降低了加密后密文数据的数据量,进而可以降低后续模型训练过程所涉及的数据量,从而提高模型训练效率。

    一种确定位于透明容器内的盛装物的杂质的方法及装置

    公开(公告)号:CN112381776B

    公开(公告)日:2024-11-12

    申请号:CN202011237632.1

    申请日:2020-11-09

    IPC分类号: G06T7/00 G06T7/20

    摘要: 本申请涉及计算机视觉技术领域,公开一种确定位于透明容器内的盛装物的杂质的方法及装置,可先获取多张图像;多张图像是盛装物处于动态状况下不同时刻的图像;之后确定参照图像与对比图像的差分图像,参照图像和对比图像为多张图像中的任意不同的两张图像;再通过预设目标检测算法,确定参照图像中的杂质点;最后将与差分图像具有同一位置的杂质点,确定为盛装物的杂质。该方案首先通过差分算法得到差分图像,然后对参照图像执行目标检测算法以确定出全部杂质,包括盛装物的杂质以及透明容器的杂质,最后根据杂质点在差分图像和参照图像中的对应关系,准确地确定一个/些杂质点是盛装物的杂质,从而可以达到准确识别杂质具体位置的目的。

    弱监督机器学习优化方法、装置、设备及存储介质

    公开(公告)号:CN111325320B

    公开(公告)日:2024-11-12

    申请号:CN202010084922.0

    申请日:2020-02-10

    摘要: 本发明公开了一种弱监督机器学习优化方法、装置、设备及存储介质,所述方法包括:对待训练模型进行有监督训练以更新待训练模型的第一编码器和第一预测器,得到对应的第二编码器和第二预测器;锁定第二编码器中与有监督训练相关的部分结构,对待训练模型进行自监督训练以更新第二编码器的未锁定部分结构,得到第三编码器;锁定第三编码器,对待训练模型进行有监督训练以更新第二预测器,以得到与待训练模型对应的目标模型。本发明实现了即使训练过程中仅使用少量的有标签样本,也能够训练得到预测效果很好的目标模型,从而降低了机器学习模型的训练成本,提高了模型训练效率。

    数据管理方法、装置、设备、系统及计算机可读存储介质

    公开(公告)号:CN110471884B

    公开(公告)日:2024-11-12

    申请号:CN201910772396.4

    申请日:2019-08-19

    发明人: 罗鹏

    摘要: 本发明涉及金融科技技术领域,公开了一种数据管理方法、装置、设备、系统及计算机可读存储介质。该方法包括:在接收到监听请求时,根据监听请求获取目标接入系统,并通过Zookeeper对目标接入系统进行监听注册;在接收到数据模板修改请求时,根据数据模板修改请求对对应的目标数据模板进行修改更新,并通过Zookeeper检测修改更新的目标数据模板是否属于目标接入系统;若修改更新的目标数据模板属于目标接入系统,则通过Zookeeper向与监听请求对应的客户端发送通知消息,以使得客户端根据通知消息更新目标接入系统的本机缓存。本发明能解决现有的数据管理过程中,网络开销较大、同时数据管理平台的压力也较大的问题。

    异常数据检测方法
    8.
    发明公开

    公开(公告)号:CN118916706A

    公开(公告)日:2024-11-08

    申请号:CN202410956979.3

    申请日:2024-07-17

    发明人: 陈卓明

    IPC分类号: G06F18/22

    摘要: 本申请属于计算机技术领域,具体涉及一种异常数据检测方法。该方法包括:获取历史数据集合,历史数据集合包括多个数据项,数据项是由多个字符组成的字符序列;根据历史数据集合,生成与字符序列中的各个序列位置相对应的字符集合和字符串集合,字符集合是由位于一个序列位置上的字符组成的去重集合,字符串集合是由位于至少两个序列位置上的字符串组成的去重集合;根据字符集合中的字符数量与字符串集合的字符串数量,筛选用于进行异常数据检测的目标字符串集合;将待检测数据与目标字符串集合进行一致性匹配校验,并在校验失败时判定待检测数据为异常数据。本申请可以提高异常数据检测的检测效率和检测成功率。

    用户断点管理方法、装置、设备及计算机程序产品

    公开(公告)号:CN113342614B

    公开(公告)日:2024-11-08

    申请号:CN202110730473.7

    申请日:2021-06-29

    IPC分类号: G06F11/30 G06F11/34

    摘要: 本发明公开了一种用户断点管理方法、装置、设备及计算机程序产品,所述方法包括:通过第一spark streaming获取用户行为数据集合,根据用户行为数据集合确定每个用户的最近行为的最新发生时间以及当前汇总行为数据,使当前汇总行为数据经过断点时长后才能持续处于断点侦测队列中;利用第二spark streaming获取断点侦测队列中的过去汇总行为数据,若过去汇总行为数据中的最新发生时间与其对应的用户的最新发生时间相同,该用户产生断点且产生时间为最新发生时间。本发明通过利用spark streaming数据流实时计算技术来侦测用户行为数据,可以在高并发实时数据处理的场景中准确确定用户产生断点的时间。

    消息处理方法、装置、设备及计算机存储介质

    公开(公告)号:CN112925659B

    公开(公告)日:2024-11-08

    申请号:CN202110209925.7

    申请日:2021-02-24

    发明人: 潘康杰 黄叶飞

    IPC分类号: G06F9/54

    摘要: 本申请实施例提供了一种消息处理方法、装置、电子设备及计算机存储介质;该方法包括:获取待处理的消息队列;在所述待处理的消息队列不满足预设的发送时效要求时,按照预设的队列拆分策略,对所述消息队列进行拆分,得到拆分后的每个消息队列,将拆分后的每个消息队列确定为所述待处理的消息队列;在所述待处理的消息队列满足预设的发送时效要求时,发送所述待处理的消息队列中的消息。