-
公开(公告)号：CN106250460A
公开(公告)日：2016-12-21
申请号：CN201610607561.7
申请日：2016-07-28
申请人： 全球能源互联网研究院 , 国网上海市电力公司 , 国家电网公司
IPC分类号： G06F17/30
CPC分类号： G06F17/30289
摘要： 本发明涉及一种考虑任务相关性的Hive优化方法及系统，所述方法包括：将HQL语句转化为MapReduce物理计划，并获取所述MapReduce物理计划中各MapReduce Job在shuffle阶段用于排序的键shuffle key；根据相关性规则，合并所述各MapReduce Job中相关MapReduce Job；本发明提供的方法及系统，考虑Hive执行过程中，任务之间的相关性，最小化MapReduce Job数量。
-
公开(公告)号：CN109660512B
公开(公告)日：2021-06-22
申请号：CN201811339709.9
申请日：2018-11-12
申请人： 全球能源互联网研究院有限公司 , 国网上海市电力公司 , 国家电网有限公司
摘要： 本发明公开了一种敏感信息流向向量化方法、异常流向识别方法及装置，其中，敏感信息流向向量化方法包括如下步骤：获取一个预设监控时间段内敏感信息的被请求信息；被请求信息包括请求敏感信息的地域信息和每个地域的请求次数信息；根据被请求信息得到敏感信息的流向向量；流向向量的一个纬度为请求敏感信息的一个地域，一个纬度的向量值为纬度对应的地域请求敏感信息的次数。通过获取一个预设监控时间段内敏感信息的被请求信息，获取敏感信息的被请求历史数据，以使用户能够对敏感信息的被请求历史数据进行监控；通过将敏感信息的被请求信息向量化，能够更直观地反映出敏感信息的历史流向，方便用户对敏感信息的被请求历史数据进行监控。
-
公开(公告)号：CN109660512A
公开(公告)日：2019-04-19
申请号：CN201811339709.9
申请日：2018-11-12
申请人： 全球能源互联网研究院有限公司 , 国网上海市电力公司 , 国家电网有限公司
摘要： 本发明公开了一种敏感信息流向向量化方法、异常流向识别方法及装置，其中，敏感信息流向向量化方法包括如下步骤：获取一个预设监控时间段内敏感信息的被请求信息；被请求信息包括请求敏感信息的地域信息和每个地域的请求次数信息；根据被请求信息得到敏感信息的流向向量；流向向量的一个纬度为请求敏感信息的一个地域，一个纬度的向量值为纬度对应的地域请求敏感信息的次数。通过获取一个预设监控时间段内敏感信息的被请求信息，获取敏感信息的被请求历史数据，以使用户能够对敏感信息的被请求历史数据进行监控；通过将敏感信息的被请求信息向量化，能够更直观地反映出敏感信息的历史流向，方便用户对敏感信息的被请求历史数据进行监控。
-
公开(公告)号：CN109460676A
公开(公告)日：2019-03-12
申请号：CN201811277579.0
申请日：2018-10-30
申请人： 全球能源互联网研究院有限公司 , 国网上海市电力公司 , 国家电网有限公司
IPC分类号： G06F21/62
摘要： 本发明公开了一种混合数据的脱敏方法、脱敏装置及脱敏设备，其中，混合数据的脱敏方法包括如下步骤：获取待脱敏的数据；根据数据类型和数据长度对待脱敏数据进行拆分，并归类形成若干种敏感类型的数据；生成每种敏感类型的数据对应的脱敏算法；使用若干条异步线程根据对应的脱敏算法对各种敏感类型的数据进行脱敏处理；一条异步线程一次处理一种敏感类型的数据。通过对待脱敏的混合数据按照数据类型和数据长度进行拆分，归类成若干种敏感类型的数据，从而使格式统一的数据被拆分出来，因而，再生成各个敏感类型的数据对应的脱敏算法，对敏感数据进行处理，能够解决传统的脱敏算法对混合数据的处理效果较差，效率较为低下的问题。
-
公开(公告)号：CN115758127A
公开(公告)日：2023-03-07
申请号：CN202111020735.7
申请日：2021-09-01
申请人： 全球能源互联网研究院有限公司 , 国家电网有限公司 , 国网上海市电力公司
IPC分类号： G06F18/214 , G06N3/098 , H04L9/08 , G06F30/27
摘要： 本发明提供了一种基于联邦学习的模型训练系统及方法，该系统包括多个客户端和多个服务器，客户端包括：模型训练模块用于根据本地训练集对初始模型训练得到模型更新值；训练过程包括前期训练阶段和后期训练阶段，前期训练阶段的学习率是对前期基础学习率扩大若干倍得到的，后期训练阶段的学习率是对后期基础学习率缩小若干倍得到的；参数分享模块用于对模型更新值计算得到多个秘密分享值，将秘密分享值发送至各服务器；服务器用于根据秘密分享值计算聚合更新值；模型生成模块用于根据聚合更新值计算模型更新的真实值，对初始模型进行更新得到优化模型。通过执行本发明能够规避各客户端对同一初始模型进行共同训练时产生的路径冲突。
-
公开(公告)号：CN110647829A
公开(公告)日：2020-01-03
申请号：CN201910864930.4
申请日：2019-09-12
申请人： 全球能源互联网研究院有限公司 , 国网重庆市电力公司电力科学研究院 , 国家电网有限公司 , 国网重庆市电力公司 , 国网上海市电力公司
摘要： 本发明提供了一种票据的文本识别方法及系统，该方法包括：获取票据文本图像；采用目标文本检测模型对票据文本图像进行文本区域检测，生成目标文本图像；采用目标文本识别算法对目标文本图像进行文本识别，生成文本识别结果。通过深度学习神经网络模型对票据文本图像进行检测与识别，本识别方法简单，无需手工提取特征，能够更快速的得到有效的文本检测区域，最终提高整体检测识别效率与精准度，实现图像文本数据的结构化提取和存储，为后续的检测分类提供有效的支撑，进一步提升票据归档分类的电子化和智能化水平。
-
公开(公告)号：CN110502917A
公开(公告)日：2019-11-26
申请号：CN201910610845.5
申请日：2019-07-08
申请人： 全球能源互联网研究院有限公司 , 国家电网有限公司 , 国网重庆市电力公司电力科学研究院 , 国网重庆市电力公司客户服务中心 , 国网上海市电力公司
摘要： 本发明公开了一种用电客户数据的脱敏、脱敏还原方法及装置，其中用电客户数据的脱敏方法包括：获取待脱敏用电客户编码数据；根据预设数据脱敏种子值及所述第一预设分段长度参数，利用随机排序函数将用电客户编码数据转化第一随机映射数组；根据第一预设分段长度参数将所述用电客户编码数据划分为预设长度的若干子段；在第一随机映射数组中依次索引用电客户编码数据每个字段对应的编码，获取脱敏后的用电客户编码数据。本发明提供的方法及装置具有简单、高效的特点，可保证脱敏后用电客户数据的唯一性，且通过脱敏与还原方法的公共参数可恢复脱敏前的用电客户数据，在保护用户隐私的同时可适用于其他数据分析实际场景，保持其数据价值。
-
公开(公告)号：CN109413036A
公开(公告)日：2019-03-01
申请号：CN201811060582.7
申请日：2018-09-12
申请人： 全球能源互联网研究院有限公司 , 国网上海市电力公司 , 国家电网有限公司
IPC分类号： H04L29/06 , H04L12/851
摘要： 本发明公开了一种敏感信息异常流出监测方法、装置和服务器，其中，该监测方法包括：获取预设时间段内的访问信息；提取访问信息中敏感信息对应的访问位置信息；根据敏感信息对应的访问位置信息生成与预设时间段对应的敏感信息流向向量；根据敏感信息流向向量识别在预设时间段内出现敏感信息流出异常的情况。本发明实施例提供的敏感信息异常流出监测方法、装置和服务器，避免在数据平台之中嵌入监听式监控设备，从而避免向数据平台引入通信安全隐患，有利于保证通信安全。此外，本发明实施例提供的敏感信息异常流出监测方法无需对数据平台上的访问数据做镜像，从而避免了旁路式监控的大量硬件投入，有利于降低敏感信息异常流出的监测成本。
-
公开(公告)号：CN109388965A
公开(公告)日：2019-02-26
申请号：CN201811050576.3
申请日：2018-09-10
申请人： 全球能源互联网研究院有限公司 , 国网上海市电力公司 , 国家电网有限公司
IPC分类号： G06F21/62
摘要： 本发明公开了一种混合数据的脱敏方法及系统，在获取待脱敏的混合数据后，将待脱敏的混合数据进行拆分和归类，得到拆分字典集合，标记拆分字典集合中对应的敏感信息类型，得到识别敏感信息类型的拆分字典集合；根据预设脱敏算法，使用异步线程将识别敏感信息类型的拆分字典集合进行动态脱敏。本发明提供的混合数据的脱敏方法及系统，可实现通过建立异步线程对包含有不同类型敏感信息的混合数据进行快速脱敏，为构建安全可信的数据使用环境奠定了坚实的基础。
-
公开(公告)号：CN109413036B
公开(公告)日：2022-02-08
申请号：CN201811060582.7
申请日：2018-09-12
申请人： 全球能源互联网研究院有限公司 , 国网上海市电力公司 , 国家电网有限公司
IPC分类号： H04L9/40 , H04L47/2441
摘要： 本发明公开了一种敏感信息异常流出监测方法、装置和服务器，其中，该监测方法包括：获取预设时间段内的访问信息；提取访问信息中敏感信息对应的访问位置信息；根据敏感信息对应的访问位置信息生成与预设时间段对应的敏感信息流向向量；根据敏感信息流向向量识别在预设时间段内出现敏感信息流出异常的情况。本发明实施例提供的敏感信息异常流出监测方法、装置和服务器，避免在数据平台之中嵌入监听式监控设备，从而避免向数据平台引入通信安全隐患，有利于保证通信安全。此外，本发明实施例提供的敏感信息异常流出监测方法无需对数据平台上的访问数据做镜像，从而避免了旁路式监控的大量硬件投入，有利于降低敏感信息异常流出的监测成本。
-
-
-
-
-
-
-
-
-
搜索结果
82 条记录 (耗时 0.096 秒)
