一种数据文件的处理方法、系统、大数据处理服务器和计算机存储介质

    公开(公告)号:CN109802832A

    公开(公告)日:2019-05-24

    申请号:CN201711148631.8

    申请日:2017-11-17

    IPC分类号: H04L9/14 H04L29/06 H04L29/08

    摘要: 本发明实施例公开了一种数据文件的处理方法,该方法包括:接收数据文件的操作请求,根据操作请求获取数据文件的一个以上密钥和数据文件的一个以上解密算法;获取服务器侧的文件加密密钥及加密算法;基于数据文件的一个以上密钥、数据文件的一个以上解密算法、服务器侧的文件加密密钥及加密算法,生成与操作请求对应的操作指令;将操作指令向大数据处理服务器发送,接收大数据处理服务器对数据文件的操作指令的响应,响应中至少包括对数据文件的操作结果的存储位置。本发明实施例还同时公开了一种数据文件的处理系统、大数据处理服务器和计算机存储介质。

    一种词汇分类的方法、系统和实现方法

    公开(公告)号:CN103186612B

    公开(公告)日:2016-04-27

    申请号:CN201110456676.8

    申请日:2011-12-30

    IPC分类号: G06F17/30 G06F17/27

    摘要: 本发明公开了一种词汇分类的方法、系统和实现方法,首先获取文档分类训练集,包括文档及其所属的文档类别信息,对所有文档进行预处理,形成待分类词汇,获取每个待分类词汇在一个文档类别中的TF值和IDF值,并对两者求和得到TF-IDF,除以每个待分类词汇在其文档所属的所有文档类别中的TF-IDF之和,获得的商值作为待分类词汇属于文档类别的概率,生成包括待分类词汇、待分类词汇对应的类别和待分类词汇属于对应类别的概率的词汇分类数据库。采用了本发明的技术方案,能够自动完成词汇分类,而且投入很少,效果更加准确。

    一种信用评分方法及设备

    公开(公告)号:CN109978302A

    公开(公告)日:2019-07-05

    申请号:CN201711458946.2

    申请日:2017-12-28

    IPC分类号: G06Q10/06 G06Q30/02 G06Q30/06

    摘要: 本发明公开了一种信用评分方法及设备,用于减小用户信用评分的主观性,提高用户信用评分的准确性。该方法包括:获取N个用户的N个数据样本;所述数据样本包括P个评价指标的数据,N、P为正整数;根据所述N个数据样本构建由目标层、准则层和方案层组成的基于层次分析法AHP架构的评分指标体系;所述目标层为用户信用的评分,所述准则层包括影响用户信用评分的M个要素,所述M个要素中的一个要素与所述方案层包括的至少一个评价指标相对应,其中,不同要素所对应的评价指标不同,M为正整数;通过分类算法计算每个要素所对应的至少一个评价指标中每一个评价指标的权重;根据每一个评价指标的权重以及评分指标体系对用户信用进行评分。

    SQL脚本的结构化元数据生成方法及数据地图生成方法

    公开(公告)号:CN102339295B

    公开(公告)日:2014-01-29

    申请号:CN201010238389.5

    申请日:2010-07-23

    IPC分类号: G06F17/30 G09B29/00

    摘要: 本发明公开了一种SQL脚本的结构化元数据生成方法以及数据地图生成方法,其中,该方法包括:根据SQL脚本数据流语义结构生成一组SQL脚本元模型;根据元模型对SQL脚本的数据处理逻辑进行结构化描述;根据数据处理逻辑的结构化描述,生成SQL脚本元数据。本发明可以将SQL脚本的数据转换处理逻辑进行结构化描述,在此基础上提供相应的辅助分析功能和分层数据地图图形展现,从而提供数据链路辅助分析和血统分析、数据地图展现和细节数据处理逻辑图形化展现,解决现有技术中SQL脚本所包含的数据流信息无法在元数据中体现出来,导致元数据的数据加工链路不连贯,无法进行有效的分析的缺陷。

    去隐私化处理方法和装置
    17.
    发明公开

    公开(公告)号:CN103177007A

    公开(公告)日:2013-06-26

    申请号:CN201110434172.6

    申请日:2011-12-22

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种去隐私化处理方法及装置,其中,该方法包括:在由源数据获取的客户隐私数据之中提取索引字段,调用去隐私化映射关系表;根据去隐私化映射关系表中的映射规则,将索引字段映射为去隐私化映射关系表中的映射编码,完成对客户隐私数据的去隐私化处理。本发明的去隐私化处理方法和装置,去隐私化处理引擎设计在ETL模块中,一方面充分利用ETL模块现有的系统资源,避免占用数据仓库以及数据集市的系统资源;另一方面因为ETL模块是经营分析系统所有数据的统一入口,ETL模块对所有客户隐私数据执行去隐私化处理能够保证所有操作的统一性。

    一种基于云计算的数据挖掘方法、系统及装置

    公开(公告)号:CN102567396A

    公开(公告)日:2012-07-11

    申请号:CN201010616075.4

    申请日:2010-12-30

    IPC分类号: G06F17/30 G06F9/46 H04L29/08

    摘要: 本发明公开了一种基于云计算的数据挖掘方法、系统及装置,用以解决现有数据挖掘过程中效率低,无法满足海量数据处理需求的问题。该系统当PDM服务器接收到web服务器拆分后的用户的数据挖掘请求对应的每个子任务后,根据保存的并行算法,确定每个子任务对应的并行作业任务,向云平台集群控制节点发送该并行作业任务,将接收到的云平台集群控制节点返回的挖掘数据进行整合后提供个web服务器。由于在本发明实施例中该数据挖掘的过程通过web方式实现,因此该数据挖掘的方法可以同时为多个用户提供,并且该数据挖掘的过程中基于并行作业任务进行挖掘,因此有效的提高了数据挖掘的效率。

    一种数据服务封装的装置及方法

    公开(公告)号:CN103139234B

    公开(公告)日:2016-01-20

    申请号:CN201110375778.7

    申请日:2011-11-23

    IPC分类号: H04L29/08 H04L29/06

    摘要: 本发明公开了一种数据服务封装的方法和装置,具体包括:A、对数据服务请求方发起的数据服务请求进行解析并获取到数据服务请求参数;B、根据所述数据服务请求参数形成数据服务信息查询指令;C、基于所述数据服务信息查询指令从所述数据服务所对应的数据源中获取到数据源数据;D、将所述数据源数据转换成关系型数据;将所述关系型数据封装到应答数据中;选择所述数据服务的会话模式;将所述应答数据封装到数据服务应答数据包的包体中;E、对所述数据服务应答数据包的包头进行控制信息的封装操作。本发明可以简化数据服务的实现,降低数据服务内部代码的耦合度。