数据处理方法、数据处理装置及计算机可读存储介质
摘要:
本发明提供一种数据处理方法、计算机系统及计算机可读存储介质,所述方法包括接收记录流,每个记录包括一个或多个字段和对应值;在多个处理器之间分割所述记录流;为每个记录生成在各记录中具有值的每个字段的字段值对,所述字段值对表示各记录中的字段和用于所述字段的对应值;为每个处理器生成每个相异字段值对的调查元素,所述调查元素包括表示所述相异字段和所述相异值的字段值对的计数;基于用于各字段的所述调查元素计算所述记录流中每个字段的统计数字;以及基于对应的统计数字为所述记录流中的每个字段生成概要。本发明可以自动确定或协同用户确定的信息可以用于转存数据源的元数据,之后用于进一步的处理。
0/0