一种结合D3的全链分析方法

    公开(公告)号:CN109815280B

    公开(公告)日:2023-05-12

    申请号:CN201910072289.0

    申请日:2019-01-25

    IPC分类号: G06F16/248

    摘要: 本发明公开了一种结合D3的全链分析方法,属于计算机技术领域。本发明的结合D3的全链分析方法包括以下步骤:S1、根据查询的元数据节点,查询出数据流向该元数据节点的所有节点;S2、对步骤S1中的所有节点进行循环,查找下级节点及节点层级,记为群体B;S3、根据查询的元数据节点,查询出该元数据节点数据流向的所有节点;S4、对步骤S3中所述的所有节点进行循环,查找下级节点及节点层级,记为群体L;S5、得出群体B的总层数,得到各个节点的新层级。该发明的结合D3的全链分析方法使用户既能查看数据流向,也能清晰的查看数据流动的层级信息,具有很好的推广应用价值。

    一种异架构数据源数据加工管理方法

    公开(公告)号:CN114064816A

    公开(公告)日:2022-02-18

    申请号:CN202111268938.8

    申请日:2021-10-29

    摘要: 本发明特别涉及一种异架构数据源数据加工管理方法。该异架构数据源数据加工管理方法,Oracle集群、Hive集群、Hbase集群和Kudu集群通过各自的数据库连接池提供后台访问,用户通过对上述数据库的无差别访问实现对各自集群的访问;通过前台展示各个数据库的资产元数据信息,以供用户查看;用户参考元数据信息创建脚本并编写数据处理SQL,通过审核后即可调度触发执行SQL脚本,进行数据加工。该异架构数据源数据加工管理方法,加强了对脚本任务调度的统一审核和管理,数据处理人员不需要过多的学习大数据技术知识也能够无差别的在混合数据库架构下便捷的使用和处理数据,满足了数据处理人员对混合数据存储架构下的数据处理需求。

    一种基于Spring Profile的Redis连接池配置方法

    公开(公告)号:CN108804092B

    公开(公告)日:2021-12-07

    申请号:CN201810614273.3

    申请日:2018-06-14

    IPC分类号: G06F8/30 G06F8/41

    摘要: 本发明公开了一种基于Spring Profile的Redis连接池配置方法,属于计算机技术领域。本发明的基于Spring Profile的Redis连接池配置方法,使用程序语言编写RedisConfig类,在RedisConfig类中编写Redis三种部署模式,分别为Redis standalone、Redis sentinel和Redis cluster的连接池配置代码,将RedisConfig类注入到Spring容器中。该发明的基于Spring Profile的Redis连接池配置方法能能快捷的实现web应用连接不同环境下不同部署方式的Redis,具有很好的推广应用价值。

    虚开纳税人识别的持续学习方法
    4.
    发明公开

    公开(公告)号:CN113642735A

    公开(公告)日:2021-11-12

    申请号:CN202110854757.7

    申请日:2021-07-28

    IPC分类号: G06N20/00 G06N3/08

    摘要: 本发明公开了虚开纳税人识别的持续学习方法,属于机器学习及持续学习技术领域,该方法包括最小系统构建和持续学习构建,最小系统构建生成初始机器学习模型,得到样本的向量化表征,然后基于统计的学习方法学习模型,进行模型探索、模型选择和算法选择;持续学习构建将所述最小系统构建的整个流程抽象化为特征工程、模型选择和算法选择,并赋予自动机器学习的能力;其中,所述特征工程开放主动交互功能,获取用户业务经验;通过数据自动收集并以服务的形式进行发布,形成模型的持续迭代。本发明赋予模型与业务人员主动交互以及持续性自学优化的能力,能够自适应数据分布变动,模型效果持续提升。

    基于DAC定时任务发送日报的方法及系统

    公开(公告)号:CN112685164A

    公开(公告)日:2021-04-20

    申请号:CN202110021634.5

    申请日:2021-01-08

    摘要: 本发明公开了一种基于DAC定时任务发送日报的方法及系统,属于数据分析技术领域,本发明要解决的技术问题为如何解决数据挖掘处理中对于数据难以采集和提炼的难题,采用的技术方案为:该方法是利用java开发技术,通过quartz定时任务组件定时获取元数据中的有用数据,组合数据形成报告,同时利用接口技术向微信上给指定的员工每天定时发送日报;具体如下:元数据采集、数据清洗及关联分析;quartz定时抽取;发送微信日报;分析执行计划并优化调整。该系统包括预处理单元、抽取单元、发送单元及分析及优化单元;预处理单元用于通过采集DAC工具后台元数据仓库中存储的数据,并进行关联分析,再次加工汇总得到结果数据;抽取单元用于通过quartz定时组件定时抽取数据。

    预测纳税人中的非正常户的方法及装置

    公开(公告)号:CN112036997B

    公开(公告)日:2023-08-04

    申请号:CN202010883924.6

    申请日:2020-08-28

    IPC分类号: G06Q40/10 G06Q50/26 G06F18/23

    摘要: 本发明提供了预测纳税人中的非正常户的方法及装置、计算机可读介质,该方法,包括:获取多个纳税人的纳税相关数据;根据从纳税相关数据确定每个纳税人的多个维度的纳税特征;利用纳税特征对机器学习模型进行训练,获得训练后的机器学习模型;获取待预测纳税人的纳税相关数据,获得待预测纳税人的多个维度的目标纳税特征;将目标纳税特征输入到训练后的机器学习模型中,获取训练后的机器学习模型输出的目标标签;当目标标签为非正常户标签时,预测出待预测纳税人为非正常户;当目标标签为正常户标签时,预测出待预测纳税人为正常户。本发明提供了预测纳税人中的非正常户的方法及装置、计算机可读介质,能够预测纳税人中的非正常户。

    虚开纳税人识别的持续学习方法

    公开(公告)号:CN113642735B

    公开(公告)日:2023-07-18

    申请号:CN202110854757.7

    申请日:2021-07-28

    摘要: 本发明公开了虚开纳税人识别的持续学习方法,属于机器学习及持续学习技术领域,该方法包括最小系统构建和持续学习构建,最小系统构建生成初始机器学习模型,得到样本的向量化表征,然后基于统计的学习方法学习模型,进行模型探索、模型选择和算法选择;持续学习构建将所述最小系统构建的整个流程抽象化为特征工程、模型选择和算法选择,并赋予自动机器学习的能力;其中,所述特征工程开放主动交互功能,获取用户业务经验;通过数据自动收集并以服务的形式进行发布,形成模型的持续迭代。本发明赋予模型与业务人员主动交互以及持续性自学优化的能力,能够自适应数据分布变动,模型效果持续提升。

    一种融合多层前馈表征的预训练方法及装置

    公开(公告)号:CN114912606A

    公开(公告)日:2022-08-16

    申请号:CN202210433291.8

    申请日:2022-04-24

    IPC分类号: G06N3/08 G06N3/04 G06F40/30

    摘要: 本发明涉及深度学习技术领域,具体提供了一种融合多层前馈表征的预训练方法,具有如下步骤:S1、对文本数据进行采集;S2、设定多任务学习的任务分类类别;S3、依据选定的任务类型,分别应对预处理相应的文本;S4、网络结构的设定和代码编写;S5、实现层间拉平的文本向量的融合;S6、Specific‑task的MLP设计和编程实现;S7、数据策略和算法制定;S8、整合步骤S4至S7代码,进行End‑to‑End的全网络前馈流程;S9、使用预处理后的文本数据对模型进行训练,达到全局最优;S10、序列化训练好的融合多层前馈表征的预训练语言模型;S11、Encoder分别后接Specific‑task后处理模型。与现有技术相比,本发明通过融合手段有效提升了词向量的全局文本表征能力。

    一种流式运算系统、方法、可读介质和存储控制器

    公开(公告)号:CN108845794B

    公开(公告)日:2021-09-10

    申请号:CN201810466470.5

    申请日:2018-05-16

    IPC分类号: G06F8/30

    摘要: 本发明提供了一种流式运算框架、方法、可读介质和存储控制器,该流式运算框架包括:订阅消息系统、流式数据处理系统和处理模块;其中,所述处理模块,用于将所述订阅消息系统与所述流式数据处理系统进行封装,生成数据转换工具;当接收到所述订阅消息系统发送的至少一个数据流时,利用所述数据转换工具对所述至少一个数据流的格式进行标准化处理,并将标准化处理后的所述至少一个数据流发送给所述流式数据处理系统;所述订阅消息系统,用于从外部的至少一个数据源中抽取至少一个数据流,并将所述至少一个数据流发送给所述处理模块;所述流式数据处理系统,用于对标准化处理后的所述至少一个数据流进行业务处理。本方案能提高数据处理效率。

    一种数据传输方法、数据发送端及数据接收端

    公开(公告)号:CN107086915B

    公开(公告)日:2020-11-24

    申请号:CN201710379977.2

    申请日:2017-05-25

    IPC分类号: H04L9/08 H04L9/14 H04L29/06

    摘要: 本发明提供了一种数据传输方法、数据发送端和数据接收端,该方法可以包括:随机生成第一加密密钥;利用预设的第二加密密钥和加密算法加密所述第一加密密钥;利用加密后的所述第一加密密钥和所述加密算法加密待传输的目标数据,以生成所述目标数据的密文;根据预设的合并规则合并加密后的所述第一加密密钥和所述密文,以生成合并密文;将所述合并密文发送至数据接收端,以使所述数据接收端根据预设对应的拆分规则拆分所述合并密文,以获取加密后的所述第一加密密钥和所述密文,并利用预设对应的解密算法和加密后的所述第一加密密钥解密所述密文,以获取所述目标数据。本方案能够提高数据的安全性。