-
公开(公告)号：CN108629356B
公开(公告)日：2021-12-21
申请号：CN201710169912.5
申请日：2017-03-21
申请人： 全球能源互联网研究院 , 国网山东省电力公司青岛供电公司 , 国家电网公司
摘要： 本发明提供一种面向用电负荷分类应用的数据存储方法和装置，方法包括选取小波基函数对预处理后的用电负荷数据进行多分辨分解，得到候选特征小波系数集，并对预处理后的用电负荷数据添加标签信息；从候选特征小波系数集中选取特征小波系数，并建立用电负荷数据特征化模型；采用用电负荷数据特征化模型对用电负荷数据进行特征化处理；存储特征化处理后的用户电荷数据。本发明将小波变换的优势应用到用电负荷数据的特征提取中，在对数据进行压缩存储的同时，保持了原有的信息，能够对后续的用电负荷分类等应用带来有力支撑；对特征小波系数的数量进行调整，选取了最优最少的特征小波系数，提高了用电负荷数据特征化的效率。
-
公开(公告)号：CN108470127A
公开(公告)日：2018-08-31
申请号：CN201710099139.X
申请日：2017-02-23
申请人： 全球能源互联网研究院 , 国网山东省电力公司青岛供电公司 , 国家电网公司
摘要： 本发明提供一种用电负荷数据的离线脱敏方法和装置，通过提取用电负荷数据、选择时频变换算法，并根据选择的时频变换算法对提取的用电负荷数据进行脱敏，最后将脱敏后的用电负荷数据进行存储，能够快速高效的完成用电负荷数据离线脱敏。本发明能够从文档、文件、数据库等多种途径选择用电负荷数据，以多种文件格式获取待脱敏的用电负荷数据，并根据数据特性以及提供者对数据敏感性的要求和使用者对数据可用性的要求选择用于脱敏的时频变换算法，确保能够顺利获取待脱敏的用电负荷数据，自由地选择适当的时频变换算法，达到最好的脱敏效果。
-
公开(公告)号：CN108470128B
公开(公告)日：2021-12-03
申请号：CN201710099189.8
申请日：2017-02-23
申请人： 全球能源互联网研究院有限公司 , 国网山东省电力公司青岛供电公司 , 国家电网公司
摘要： 本发明提供一种用电负荷数据的在线脱敏方法和装置，先提取用电负荷数据，并选择时频变换算法；然后根据选择的脱敏算法对提取的用电负荷数据进行脱敏；最后访问脱敏后的用电负荷数据，实现用电负荷数据的在线脱敏。本发明利用时频变换的手段，在频域对数据进行相应的筛选、过滤、删除、修改等处理，以达到数据脱敏的效果，脱敏过程保留了主要趋势等数据分析的必要信息，使得脱敏后的数据能够满足相关分析应用的需求，同时去掉了明细特征等敏感信息，有效保护了用户的隐私信息。并且由于时频变换拥有快速算法，脱敏过程的时间消耗较小。
-
公开(公告)号：CN108470127B
公开(公告)日：2021-10-29
申请号：CN201710099139.X
申请日：2017-02-23
申请人： 全球能源互联网研究院 , 国网山东省电力公司青岛供电公司 , 国家电网公司
IPC分类号： G06F21/62 , G06F16/25 , G06F16/2458
摘要： 本发明提供一种用电负荷数据的离线脱敏方法和装置，通过提取用电负荷数据、选择时频变换算法，并根据选择的时频变换算法对提取的用电负荷数据进行脱敏，最后将脱敏后的用电负荷数据进行存储，能够快速高效的完成用电负荷数据离线脱敏。本发明能够从文档、文件、数据库等多种途径选择用电负荷数据，以多种文件格式获取待脱敏的用电负荷数据，并根据数据特性以及提供者对数据敏感性的要求和使用者对数据可用性的要求选择用于脱敏的时频变换算法，确保能够顺利获取待脱敏的用电负荷数据，自由地选择适当的时频变换算法，达到最好的脱敏效果。
-
公开(公告)号：CN108629356A
公开(公告)日：2018-10-09
申请号：CN201710169912.5
申请日：2017-03-21
申请人： 全球能源互联网研究院 , 国网山东省电力公司青岛供电公司 , 国家电网公司
摘要： 本发明提供一种面向用电负荷分类应用的数据存储方法和装置，方法包括选取小波基函数对预处理后的用电负荷数据进行多分辨分解，得到候选特征小波系数集，并对预处理后的用电负荷数据添加标签信息；从候选特征小波系数集中选取特征小波系数，并建立用电负荷数据特征化模型；采用用电负荷数据特征化模型对用电负荷数据进行特征化处理；存储特征化处理后的用户电荷数据。本发明将小波变换的优势应用到用电负荷数据的特征提取中，在对数据进行压缩存储的同时，保持了原有的信息，能够对后续的用电负荷分类等应用带来有力支撑；对特征小波系数的数量进行调整，选取了最优最少的特征小波系数，提高了用电负荷数据特征化的效率。
-
公开(公告)号：CN108470128A
公开(公告)日：2018-08-31
申请号：CN201710099189.8
申请日：2017-02-23
申请人： 全球能源互联网研究院有限公司 , 国网山东省电力公司青岛供电公司 , 国家电网公司
摘要： 本发明提供一种用电负荷数据的在线脱敏方法和装置，先提取用电负荷数据，并选择时频变换算法；然后根据选择的脱敏算法对提取的用电负荷数据进行脱敏；最后访问脱敏后的用电负荷数据，实现用电负荷数据的在线脱敏。本发明利用时频变换的手段，在频域对数据进行相应的筛选、过滤、删除、修改等处理，以达到数据脱敏的效果，脱敏过程保留了主要趋势等数据分析的必要信息，使得脱敏后的数据能够满足相关分析应用的需求，同时去掉了明细特征等敏感信息，有效保护了用户的隐私信息。并且由于时频变换拥有快速算法，脱敏过程的时间消耗较小。
-
公开(公告)号：CN106651651A
公开(公告)日：2017-05-10
申请号：CN201611137865.8
申请日：2016-12-12
申请人： 全球能源互联网研究院 , 国网上海市电力公司 , 国家电网公司
摘要： 本发明提供了一种电网用户用电功率曲线数据填补方法和装置，该方法包括根据台区线路T的状态估计线损率，并根据用户日曲线状态估计缺失的用户功率数据；微调线损率估计值和缺失的用户功率估计值，完成缺失数据的填补。该装置包括估计单元和调节单元。本发明提供的技术方案采用纵横结合的方式填补数据并作微调，能够得到更优更稳健的结果，提高了曲线数据填补的正确性。
-
公开(公告)号：CN107679089A
公开(公告)日：2018-02-09
申请号：CN201710790445.8
申请日：2017-09-05
申请人： 全球能源互联网研究院 , 国网浙江省电力公司 , 国家电网公司
IPC分类号： G06F17/30
CPC分类号： G06F17/30303 , G06F17/30129 , G06F17/30194 , G06F17/30598
摘要： 本发明提供一种用于电力传感数据的清洗方法、装置和系统，采用K-Means聚类法将电力传感数据中的结构化数据聚类为多个分区，对每个分区中的结构化数据进行检测，对检测得到的异常数据进行修复，最终实现异常数据的清洗。本发明采用K-Means聚类法将电力传感数据中的结构化数据聚类为多个分区的过程中，在对最优簇数量对应的K-Means聚类的聚类结果再进行聚类时考虑了连续电力传感数据之间的关联等特性，能够发现更多的异常数据，能够有效改善大规模电力传感数据的数据质量；且将电力传感数据的时间特性引入异常数据检测过程，能够识别出在阈值范围内但与邻近点的值存在较大偏差的异常数据。
-
公开(公告)号：CN107358334A
公开(公告)日：2017-11-17
申请号：CN201710379309.X
申请日：2017-05-25
申请人： 全球能源互联网研究院 , 国家电网公司 , 国网上海市电力公司
摘要： 数据准确性判定方法、装置、终端及计算机可读存储介质，其中数据准确性判定方法，包括：获取数据集，其中数据集由至少一个表单组成；确定所述表单的类型；根据表单的类型，确定表单的质量判别参数，其中表单的类型对应的质量判别参数预存在质量判别参数库中；根据表单的质量判别参数，计算数据集的判别特征参数，判别特征参数用于判断数据集中数据的准确性；根据判别特征参数判别所述数据集的准确性，解决了现有数据集的数据处理加工过程造成数据被重复计算，降低了判断数据准确性的效率，且使用多种方式对数据的准确性进行评价过程中由于得到不同的判断结果，可能造成多个判断结果相互干扰，影响最终数据判断的准确性。
-
公开(公告)号：CN106250460A
公开(公告)日：2016-12-21
申请号：CN201610607561.7
申请日：2016-07-28
申请人： 全球能源互联网研究院 , 国网上海市电力公司 , 国家电网公司
IPC分类号： G06F17/30
CPC分类号： G06F17/30289
摘要： 本发明涉及一种考虑任务相关性的Hive优化方法及系统，所述方法包括：将HQL语句转化为MapReduce物理计划，并获取所述MapReduce物理计划中各MapReduce Job在shuffle阶段用于排序的键shuffle key；根据相关性规则，合并所述各MapReduce Job中相关MapReduce Job；本发明提供的方法及系统，考虑Hive执行过程中，任务之间的相关性，最小化MapReduce Job数量。
-
-
-
-
-
-
-
-
-
搜索结果
40 条记录 (耗时 0.067 秒)
