-
公开(公告)号:CN102339298A
公开(公告)日:2012-02-01
申请号:CN201010239660.7
申请日:2010-07-28
Applicant: 中国移动通信集团公司 , 广州石竹计算机软件有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种SQL脚本元数据的更新方法、装置及系统,其中,该更新方法包括:解析程序块中包含的SQL脚本,获取元数据;判断SQL脚本与元数据库已记录SQL脚本是否为同一脚本;在判定为不同脚本时,将元数据更新至元数据库。本发明避免了现有技术中在元数据入库时以对象命名进行匹配而导致更新效率不高的不足,提升更新效率。
-
公开(公告)号:CN102339295A
公开(公告)日:2012-02-01
申请号:CN201010238389.5
申请日:2010-07-23
Applicant: 中国移动通信集团公司 , 广州石竹计算机软件有限公司
Abstract: 本发明公开了一种SQL脚本的结构化元数据生成方法以及数据地图生成方法,其中,该方法包括:根据SQL脚本数据流语义结构生成一组SQL脚本元模型;根据元模型对SQL脚本的数据处理逻辑进行结构化描述;根据数据处理逻辑的结构化描述,生成SQL脚本元数据。本发明可以将SQL脚本的数据转换处理逻辑进行结构化描述,在此基础上提供相应的辅助分析功能和分层数据地图图形展现,从而提供数据链路辅助分析和血统分析、数据地图展现和细节数据处理逻辑图形化展现,解决现有技术中SQL脚本所包含的数据流信息无法在元数据中体现出来,导致元数据的数据加工链路不连贯,无法进行有效的分析的缺陷。
-
公开(公告)号:CN102375826B
公开(公告)日:2014-12-31
申请号:CN201010253875.4
申请日:2010-08-13
Applicant: 中国移动通信集团公司 , 广州石竹计算机软件有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种SQL脚本解析方法、装置及系统。其中SQL脚本解析方法,包括:A、按照运行日志中的SQL脚本执行顺序,从运行日志中提取SQL脚本;B、对每条SQL脚本依次进行词法、语法和语义进行分析,生成SQL脚本的语义结果集;C、根据所述语义结果集分析所述SQL脚本的上下文类型,生成所述运行日志中各个SQL脚本之间的上下文相关信息,根据所述语义结果集和所述上下文相关信息获得所述运行日志的数据流信息。本发明的SQL脚本解析方法、装置及系统,通过对SQL脚本进行词法、语法、语义以及上下文相关性分析,避免在生成SQL脚本的元数据时,数据流语义信息的丢失,从而提高获取SQL脚本的元数据的完整性和准确性,保证SQL脚本元数据的获取质量。
-
公开(公告)号:CN102375826A
公开(公告)日:2012-03-14
申请号:CN201010253875.4
申请日:2010-08-13
Applicant: 中国移动通信集团公司 , 广州石竹计算机软件有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种SQL脚本解析方法、装置及系统。其中SQL脚本解析方法,包括:A、按照运行日志中的SQL脚本执行顺序,从运行日志中提取SQL脚本;B、对每条SQL脚本依次进行词法、语法和语义进行分析,生成SQL脚本的语义结果集;C、根据所述语义结果集分析所述SQL脚本的上下文类型,生成所述运行日志中各个SQL脚本之间的上下文相关信息,根据所述语义结果集和所述上下文相关信息获得所述运行日志的数据流信息。本发明的SQL脚本解析方法、装置及系统,通过对SQL脚本进行词法、语法、语义以及上下文相关性分析,避免在生成SQL脚本的元数据时,数据流语义信息的丢失,从而提高获取SQL脚本的元数据的完整性和准确性,保证SQL脚本元数据的获取质量。
-
公开(公告)号:CN102339295B
公开(公告)日:2014-01-29
申请号:CN201010238389.5
申请日:2010-07-23
Applicant: 中国移动通信集团公司 , 广州石竹计算机软件有限公司
Abstract: 本发明公开了一种SQL脚本的结构化元数据生成方法以及数据地图生成方法,其中,该方法包括:根据SQL脚本数据流语义结构生成一组SQL脚本元模型;根据元模型对SQL脚本的数据处理逻辑进行结构化描述;根据数据处理逻辑的结构化描述,生成SQL脚本元数据。本发明可以将SQL脚本的数据转换处理逻辑进行结构化描述,在此基础上提供相应的辅助分析功能和分层数据地图图形展现,从而提供数据链路辅助分析和血统分析、数据地图展现和细节数据处理逻辑图形化展现,解决现有技术中SQL脚本所包含的数据流信息无法在元数据中体现出来,导致元数据的数据加工链路不连贯,无法进行有效的分析的缺陷。
-
公开(公告)号:CN104750752B
公开(公告)日:2018-06-15
申请号:CN201310752439.5
申请日:2013-12-31
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明实施例公开了一种上网偏好用户群体的确定方法和设备,通过应用本发明实施例所提出的技术方案,在需要确定上网偏好用户群体时,根据上网偏好用户群体所对应的关键词确定相应的目标URL,并结合该目标URL所对应的倒排索引信息,确定对该目标URL的访问次数符合用户筛选条件的各用户标识所对应的用户组成该上网偏好用户群体,从而,充分利用倒排索引信息高性能、高灵活度的特征,实现上网偏好用户群体的快速获取,避免了大量数据记录和匹配所带来的系统资源的消耗,提高了上网偏好用户群体确定过程的处理效率和筛选准确度。
-
公开(公告)号:CN102546730B
公开(公告)日:2016-08-03
申请号:CN201010623339.9
申请日:2010-12-30
Applicant: 中国移动通信集团公司
Inventor: 高丹 , 徐萌 , 邓超 , 江志雄 , 罗治国 , 孙少陵 , 陶涛 , 段云峰 , 何鸿凌 , 谢帆 , 赵静 , 张韬 , 吴明 , 励崖卉 , 王之恒 , 邓青 , 周福伟
IPC: H04L29/08
Abstract: 本发明公开了一种数据处理方法、装置及系统。其中数据处理方法包括:云计算平台将获取的数据进行处理,并将处理后的数据发送至数据处理服务器;所述数据处理服务器将所述云计算平台处理后的数据传输到数据仓库中。本发明的数据处理方法、装置及系统,通过云计算平台对数据进行抽取、处理,数据处理服务器将处理后的数据传输到数据仓库中,提高数据处理量,实现了海量数据处理,并且不会对现有架构进行太多改动,保持云平台的相对独立性,易于改造。云计算平台成本低、投资小、利旧率高,可以缓解系统扩容压力,降低系统成本。
-
公开(公告)号:CN104750752A
公开(公告)日:2015-07-01
申请号:CN201310752439.5
申请日:2013-12-31
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明实施例公开了一种上网偏好用户群体的确定方法和设备,通过应用本发明实施例所提出的技术方案,在需要确定上网偏好用户群体时,根据上网偏好用户群体所对应的关键词确定相应的目标URL,并结合该目标URL所对应的倒排索引信息,确定对该目标URL的访问次数符合用户筛选条件的各用户标识所对应的用户组成该上网偏好用户群体,从而,充分利用倒排索引信息高性能、高灵活度的特征,实现上网偏好用户群体的快速获取,避免了大量数据记录和匹配所带来的系统资源的消耗,提高了上网偏好用户群体确定过程的处理效率和筛选准确度。
-
公开(公告)号:CN102141988A
公开(公告)日:2011-08-03
申请号:CN201010102976.1
申请日:2010-01-28
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据挖掘系统中数据聚类的方法、系统及装置,主要包括:A、主控节点将分块数据对象分发给至少两个计算节点;B、以串行方式或并行方式控制每个计算节点计算利用保存的数据对象中的非中心点对象分别替换设定个中心点对象后对应的替换代价;C、获取每个计算节点的执行结果,并是否存在小于零的替换代价;若是,确定替换同一中心点对象的多个非中心点对象中最小替换代价的非中心点对象,替换中心点对象,并返回步骤B;若否,则将当前各中心点对象及对应簇确定为最终聚类结果。根据该技术方案,提高了计算效率,并且应用于海量数据的处理需求。
-
公开(公告)号:CN101964739A
公开(公告)日:2011-02-02
申请号:CN200910089512.9
申请日:2009-07-22
Applicant: 中国移动通信集团公司 , 北京大学 , 亚信科技(中国)有限公司
Abstract: 本发明公开了一种数据传送方法、装置及系统。该方法包括:接收数据请求方的服务请求,根据服务请求对应的服务类型确定数据交换模式;获取服务请求对应的响应数据,通过预设的数据组织形式封装响应数据;将响应数据通过确定的数据交换模式发送至数据请求方。本发明各实施例的数据传送方法、装置及系统,将不同的服务类型对应不同的数据交换模式,并且规定数据封装格式统一为XML格式,从而提高了数据传送的灵活性和效率,增强数据传送系统的可扩展性。
-
-
-
-
-
-
-
-
-