-
公开(公告)号:CN107037978B
公开(公告)日:2019-11-05
申请号:CN201610930983.8
申请日:2016-10-31
申请人: 福建亿榕信息技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC分类号: G06F3/06
摘要: 本申请涉及数据迁移,特别涉及大型数据和特大型数据迁移和校正方法。本申请提供一种数据迁移校正的方法和系统,其中方法应用于具有控制器的系统中,控制器连接源数据服务器、目标数据服务器,包括步骤:源数据服务器存储有迁出文件,目标数据服务器具有未使用的存储空间,用于存放迁出文件,按源数据服务器的处理器核的个数的整数倍,将迁出文件划分为多个数据块,源数据服务器计算,获得每个数据块分别对应的数字摘要A;将数据摘要A保存于控制器中;并将迁出文件发送至目标数据服务器;在目标数据服务器中,在迁出文件转移的过程中平行计算经过数据迁移后的迁出文件中的数据块的数据摘要B;比较数据摘要A和数据摘要B是否相同;本申请用于解决大数据迁移时完整性校验的问题,其可靠性高、速度快。
-
公开(公告)号:CN107977345A
公开(公告)日:2018-05-01
申请号:CN201711121932.1
申请日:2017-11-14
申请人: 福建亿榕信息技术有限公司 , 国家电网公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
摘要: 本发明提供一种通用文本信息抽取方法,编写限定个数的正则表达式对原始语料进行抽取;从抽取的语料中切割出限定比例的语料作为训练语料;将训练语料通过自动模式归纳方法构建抽取模型;通过该抽取模型进行抽取;本发明还提供一种通用文本信息抽取系统,适用于不同要求级别的业务场景中,也利于培养相应要求的工程师,形成文本关键信息抽取的“流水线”作业。
-
公开(公告)号:CN107037978A
公开(公告)日:2017-08-11
申请号:CN201610930983.8
申请日:2016-10-31
申请人: 福建亿榕信息技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC分类号: G06F3/06
摘要: 本申请涉及数据迁移,特别涉及大型数据和特大型数据迁移和校正方法。本申请提供一种数据迁移校正的方法和系统,其中方法应用于具有控制器的系统中,控制器连接源数据服务器、目标数据服务器,包括步骤:源数据服务器存储有迁出文件,目标数据服务器具有未使用的存储空间,用于存放迁出文件,按源数据服务器的处理器核的个数的整数倍,将迁出文件划分为多个数据块,源数据服务器计算,获得每个数据块分别对应的数字摘要A;将数据摘要A保存于控制器中;并将迁出文件发送至目标数据服务器;在目标数据服务器中,在迁出文件转移的过程中平行计算经过数据迁移后的迁出文件中的数据块的数据摘要B;比较数据摘要A和数据摘要B是否相同;本申请用于解决大数据迁移时完整性校验的问题,其可靠性高、速度快。
-
公开(公告)号:CN105227672B
公开(公告)日:2018-04-17
申请号:CN201510671597.7
申请日:2015-10-13
申请人: 国家电网公司 , 福建亿榕信息技术有限公司 , 国网浙江省电力公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC分类号: H04L29/08
摘要: 发明人提供了一种在满足SAN存储共享访问需求的同时具有能够提供支持多种操作系统、运行性能好、可靠性高、投资有限且方便维护等优点的数据存储访问的方法和系统,运行时包括数据存储阶段和数据访问阶段;所述数据存储阶段包括如下步骤:客户端向协调服务器发起待上传文件请求;协调服务器通过心跳时间校验流程确定一当前可有效执行写入操作的存储服务器;客户端获取所述经协调服务器确定可有效执行写入操作的存储服务器的IP并向该存储服务器上传文件。还包括一数据访问阶段方法。本发明技术方案所述的系统及其实现的方法兼具高可用性、高性能、跨平台和易实施的特性,规避了现有主流方案的缺点。
-
公开(公告)号:CN106776783B
公开(公告)日:2019-10-01
申请号:CN201611043089.5
申请日:2016-11-24
申请人: 福建亿榕信息技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC分类号: G06F16/31 , G06F16/383
摘要: 本文提供一种非结构化数据存储管理方法和系统,解决现有技术中非结构化存储管理系统无法支撑大量的小文件及其元数据的存储和快速访问的问题。其特别涉及非结构化数据的存储管理;其方法包括步骤:非结构化数据具有与其对应的第二元数据;第二元数据存储于内存中,以哈希表的结构存储,第二元数据包括非结构化数据对应的部分描述数据和第一键值;第一键值对应第二元数据映射在哈希表中的关键字;接收非结构化数据管理指令;若非结构化数据管理指令的参数为第一键值,则在内存中执行该非结构化数据管理指令。本文提供的方案优化了非结构化数据的元数据的访问速度。
-
公开(公告)号:CN106776783A
公开(公告)日:2017-05-31
申请号:CN201611043089.5
申请日:2016-11-24
申请人: 福建亿榕信息技术有限公司 , 国家电网公司 , 国网浙江省电力公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC分类号: G06F17/30
摘要: 本文提供一种非结构化数据存储管理方法、服务器和系统,解决现有技术中非结构化存储管理系统无法支撑大量的小文件及其元数据的存储和快速访问的问题。其特别涉及非结构化数据的存储管理;其方法包括步骤:非结构化数据具有与其对应的第二元数据;第二元数据存储于内存中,以哈希表的结构存储,第二元数据包括非结构化数据对应的部分描述数据和第一键值;第一键值对应第二元数据映射在哈希表中的关键字;接收非结构化数据管理指令;若非结构化数据管理指令的参数为第一键值,则在内存中执行该非结构化数据管理指令。本文提供的方案优化了非结构化数据的元数据的访问速度。
-
公开(公告)号:CN115756833A
公开(公告)日:2023-03-07
申请号:CN202211386537.7
申请日:2022-11-07
申请人: 福建亿榕信息技术有限公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC分类号: G06F9/50
摘要: 本发明公开了一种面向多重异构环境下AI推理任务调度的方法与系统,采用容器化技术、边缘计算框架,完成与多种国产化边缘硬件的兼容适配,支持节点容器化、模块化配置模式,同时允许用户自定义功能模块镜像以打造独有的边缘计算,支持边缘硬件灵活配置。基于云原生为底座,通过监控技术计算算力的占用率,对AI算法任务进行评估,结合调度策略实现推理任务的合理调度。
-
公开(公告)号:CN112328632B
公开(公告)日:2022-06-14
申请号:CN202011070559.3
申请日:2020-10-09
申请人: 福建亿榕信息技术有限公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC分类号: G06F16/2455 , G06F16/27 , G06F16/22
摘要: 本发明涉及数据读取技术领域,特别涉及一种分布式两级缓存的方法和系统。所述一种分布式两级缓存的方法,包括步骤:响应用户请求,所述第一业务服务器发送获取命名空间缓存请求至缓存服务器;若缓存服务器中不存在命名空间缓存,则从数据库中获取数据,并将数据同步存储于第一本地内存缓存和集中式缓存;若缓存服务器中存在命名空间缓存,则从第一本地内存缓存中获取数据,若从第一本地内存缓存中无法获取数据,则从集中式缓存中获取数据,并同步存储数据至第一本地内存缓存。通过上述方法可大大提高了数据读取速度,同时可以为多个节点提供服务,也大大缓解了数据库的压力。
-
公开(公告)号:CN109710947B
公开(公告)日:2021-09-07
申请号:CN201910058614.8
申请日:2019-01-22
申请人: 福建亿榕信息技术有限公司 , 国网信息通信产业集团有限公司 , 国网浙江省电力有限公司 , 国家电网有限公司 , 国网信通亿力科技有限责任公司
IPC分类号: G06F40/20 , G06F16/36 , G06F16/335
摘要: 一种电力专业词库生成方法及装置,其中方法包括如下步骤,获取电力相关语料,对相关语料进行切词,得到候选词,对候选词进行互信息值计算,设定互信息值阈值,将互信息值小于互信息值阈值的词剔除。解决现有技术中电力专业词库杂乱不准确,无法满足实际需求的问题。
-
公开(公告)号:CN112417083A
公开(公告)日:2021-02-26
申请号:CN202011258349.7
申请日:2020-11-12
申请人: 福建亿榕信息技术有限公司 , 国网信息通信产业集团有限公司 , 国网信通亿力科技有限责任公司
IPC分类号: G06F16/31 , G06F16/36 , G06F40/295
摘要: 本发明涉及数据处理技术领域,特别涉及一种构建部署文本实体关系提取模型的方法和存储设备。所述一种构建部署文本实体关系提取模型的方法,包括步骤:创建项目工程,创建数据存储目录;采集数据,对所述数据进行预处理;根据第四预设规范对所述预处理后的数据进行标注,抽取评估数据,并根据第五预设规范对所述评估数据进行数据评估;对标注后的数据进行切分成不同类型数据;选定训练模型,并将所述不同类型数据进行处理使得符合所述训练模型接收的数据格式;根据处理后的测试数据和处理后的评估数据对训练后的训练模型进行模型评估,若评估合格,则发布评估合格的模型。通过上述技术方案大大降低自然语言处理技术的应用门槛。
-
-
-
-
-
-
-
-
-