一种基于大数据的数据重复频率监测方法
摘要:
本发明公开了一种基于大数据的数据重复频率监测方法,包括以下步骤:按照数据的种类对需要监测的数据进行编号,将同等编号的数据整合到一起;确定需要监测的数据的关键词汇,采用字段匹配法检测需要监测的数据与同类型数据的相似度。本发明所述的一种基于大数据的数据重复频率监测方法,比对时的数据为与需要监测的数据相同类型并且采用相应数据记录方式的数据,能够大幅度降低比对的数据量,加快数据处理过程,而且降低数据比对对设备的要求,能够便于人们了解数据关键内容,还能够便于人们对数据进行分析,便于人们快速判断数据的变化情况,减少后续人们手动数据分析的工作量,便于人们整理数据,带来更好的使用前景。
公开/授权文献
0/0