分布式文件的同步方法、装置、计算机设备及存储介质

    公开(公告)号:CN112380183B

    公开(公告)日:2024-05-24

    申请号:CN202011271659.2

    申请日:2020-11-13

    IPC分类号: G06F16/182 G06F16/178

    摘要: 本发明涉及分布式文件的同步方法、装置、计算机设备及存储介质;其中,方法,包括:获取分布式文件系统下发的文件同步请求,并对文件同步请求进行校验;校验通过后,创建同步任务,并将分布式文件系统中对应同步任务的文件数据保存至数据存储中心;当检测到数据存储中心发生数据变更,则触发同步任务,向队列系统发送指令;队列系统将指令发送至中转集群,中转集群根据指令执行文件数据同步。本发明能够保证同步子任务依赖关系,确保任务正确执行,还降低了集群配置管理复杂度,而且支持任务重做,支持自定义接口触发。

    基于矩阵乘法计算的模型训练方法、装置、设备及介质

    公开(公告)号:CN117909638A

    公开(公告)日:2024-04-19

    申请号:CN202410084504.X

    申请日:2024-01-19

    IPC分类号: G06F17/16 G06F18/214

    摘要: 本发明公开了基于矩阵乘法计算的模型训练方法、装置、设备及介质,开启设备后,依次通过以下步骤进行模型训练,通过拆分规则将各子内核进行分组以得到内核小组,每一内核小组包含至少一个子内核。依次对计算各子内核所对应的数据处理量进行减法运算,以得到第一维度指数。进行匹配生成第一整合数据,通过预设第一数值范围对第一整合数据的参数值校验,得到是否通过的第一校验结果。若第一校验结果为不通过,则进行输出。若通过,则将下一组数据包填充至各内核小组中进行重新加载以得到第二整合数据。通过预设第二数值范围对第二整合数据的参数值进行校验,得到第二校验结果。若为通过,则执行第一优化策略并对第一参数累加后,返回执行上一步骤。

    一种用户标签缺失数据填补方法及系统

    公开(公告)号:CN116467637A

    公开(公告)日:2023-07-21

    申请号:CN202310347796.7

    申请日:2023-03-28

    摘要: 本发明提供了一种用户标签缺失数据填补方法及系统,方法包括采集用户历史标签;对用户历史标签进行预处理,以得到多个特征;计算不同特征的相似度,以得到特征权重文件;获取标签查询请求;根据标签查询请求获取多个待查询用户标签;对待查询用户标签进行排序;利用特征权重文件对排序后的待查询用户标签进行填补。该方法结合离线计算和实时填补技术,通过填补用户标签中缺失的值来提高用户标签的饱和度,改善用户标签的稀疏性。

    一种消息中间件管理方法及相关设备

    公开(公告)号:CN116455968A

    公开(公告)日:2023-07-18

    申请号:CN202310375490.2

    申请日:2023-03-30

    发明人: 王伟 罗伟东

    摘要: 本申请公开了一种消息中间件管理方法,包括:接收消费请求,所述消费请求用于获取目标资源;判断所述资源类型是否为幂等类型;若所述资源类型为幂等类型,则查询消费偏移记录,消费偏移记录由消费偏移管理服务记录;基于消费偏移记录从消息中间件中获得目标资源;发送目标资源。基于上述方法可知,本申请所提供的消息中间件管理方法通过对消费者所请求的目标资源的类型进行判断,若资源为幂等类型,则基于消费偏移记录查询得到目标资源,进而确定幂等类型资源的消费情况,基消费情况向消费者提供准确的非重复的消费资源,从而解决了由于消息中间件或消费端重启导致的消费重复问题,提高了用户的使用体验,保证了消息中间件的稳定性和使用效果。

    一种短视频推荐方法、装置、系统以及存储介质

    公开(公告)号:CN115529501A

    公开(公告)日:2022-12-27

    申请号:CN202211138389.7

    申请日:2022-09-19

    摘要: 本申请公开了一种短视频推荐方法、装置、系统以及存储介质,用于提升提升非登录用户的短视频浏览体验。本申请方法包括:获取应用启动请求,该应用启动请求表示目标用户需要启动安装于目标终端上的应用;根据应用启动请求获取目标终端的设备特征;判断是否存在与目标终端的设备特征相同的目标设备特征;若是,则获取与目标设备特征绑定的历史短视频信息,历史短视频信息为目标终端在非登录状态下的历史短视频浏览记录;当接收到目标终端发送的视频获取请求时,根据浏览时长占比确定历史短视频信息中的目标短视频类型;向应用推荐属于目标短视频类型的目标短视频。

    一种Kafka集群间数据传输方法及相关设备

    公开(公告)号:CN115022325A

    公开(公告)日:2022-09-06

    申请号:CN202210652624.6

    申请日:2022-06-07

    发明人: 罗伟东 朱军

    IPC分类号: H04L67/10 H04L69/16 H04L9/40

    摘要: 本申请提供了一种Kafka集群间数据传输方法,应用于第一Kafka集群,包括:第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器,以使得第一Nginx服务器基于安全套接字协议将第一数据传输至第二Nginx服务器,由第二Nginx服务器传输第一数据至第二Kafka集群;基于本方案可知,本申请所提供的Kafka集群间数据传输方法通过使用Nginx进行传输,利用了Nginx服务器高可用性的特点,从而降低了传输链路中所需设置的中介服务器的数量,进而降低了数据传输成本,同时公网传输过程通过Nginx ssl加密,保证了数据传输的安全性,提高了Kafka集群间数据传输过程的可实施性。并且数据传输链路变得简洁,数据延迟风险问题得以解决。

    自适应对等模式的服务注册发现方法、系统及介质

    公开(公告)号:CN115002195A

    公开(公告)日:2022-09-02

    申请号:CN202210607516.7

    申请日:2022-05-31

    摘要: 本发明公开了自适应对等模式的服务注册发现方法、系统及介质,方法包括:服务请求端发送广播信息至服务提供端,服务提供端判断广播信息与服务配置信息是否相匹配,若相匹配则反馈带数字签名结果的连接配置信息至对应服务请求端,服务请求端接收连接配置信息并进行签名验证,验证通过则发送服务连接请求以与对应服务提供的建立请求连接。通过上述方法,在服务请求端与服务提供端同时配置微服务架构库,服务请求端发送广播信息至任一服务提供端,服务提供端接收到任一广播即与相应服务请求端建立请求连接,实现自适应对等模式的服务注册发现,避免因服务节点或者服务节点集群出问题而导致系统服务异常的情况,提高了服务提供端提供服务的可靠性。

    基于时间序列特征的基础数据模型处理方法以及相关装置

    公开(公告)号:CN114996368A

    公开(公告)日:2022-09-02

    申请号:CN202210666247.1

    申请日:2022-06-13

    发明人: 罗伟东 廖宜思

    摘要: 本申请适用于数据处理技术领域,提供了一种基于时间序列特征的基础数据模型处理方法以及相关装置,旨在解决现有技术中用于风险防控的基础数据模型的竖井问题,提高对金融大数据的利用效率,进而提高金融企业对SaaS业务服务的使用体验。本申请方法主要包括:确定目标业务过程,所述目标业务过程为金融风险防控数据中的一个业务过程;声明所述目标业务过程的常用粒度,所述常用粒度包括时间粒度,所述时间粒度为所述金融风险防控数据中涉及的时间序列特征;在业务事实数据中确定与所述时间粒度对应的统计维度特征;在所述业务事实数据中确定与所述统计维度特征对应的业务事实,构建基础数据模型。

    推送消息的回执信息处理方法、系统及存储介质

    公开(公告)号:CN112398726B

    公开(公告)日:2022-05-27

    申请号:CN202011223192.4

    申请日:2020-11-05

    发明人: 罗伟东 郑军 李博

    摘要: 本发明公开了一种推送消息的回执信息处理方法、系统和计算机可读存储介质,推送服务中,推送消息的回执参数空间不够的问题。方法部分包括:终端厂商推送服务平台接收第三方消息推送服务平台下推的推送消息,并根据推送消息的推送方式,获取相应回执信息;当推送消息的推送方式是针对批量用户的推送时,终端厂商推送服务平台根据推送消息获取对应的第一回执信息,第一回执信息包括推送令牌token、请求标识requestId、推送消息状态和第一回执参数,第一回执参数包括推送服务应用信息标识appkey和推送消息唯一标识msgid;最后通过回调接口,将第一回执信息反馈至第三方消息推送服务平台,第三方消息推送服务平台从预设推送后台数据库查询推送令牌toke对应的用户标识uid。