-
公开(公告)号:CN111506391B
公开(公告)日:2022-08-30
申请号:CN202010247521.2
申请日:2020-03-31
申请人: 新华三大数据技术有限公司
发明人: 张笛
IPC分类号: G06F9/455
摘要: 本申请涉及容器技术领域,特别涉及一种容器部署方法及装置。该方法应用于容器部署系统中的目标容器节点,所述容器部署系统至少包括管理节点,若干容器节点和存储服务器,所述方法包括:基于所述管理节点发送的目标容器创建请求,在本地创建目标容器;确定所述存储服务器中与所述目标容器对应的共享持久化存储卷,建立所述目标容器与所述共享持久化存储卷的关联关系,并将所述目标容器的持续化数据存储至所述共享持久化存储卷;创建与所述目标容器对应的本地持久化存储卷,建立所述目标容器与所述本地持久化存储卷的关联关系,并基于预设的规则,将所述目标容器的持久化数据存储至所述本地持久化存储卷。
-
公开(公告)号:CN112434015B
公开(公告)日:2022-08-19
申请号:CN202011423915.5
申请日:2020-12-08
申请人: 新华三大数据技术有限公司
发明人: 马东
IPC分类号: G06F16/21 , G06F16/2455 , G06F16/2458 , G06F16/27
摘要: 本申请公开了一种数据存储的方法、装置、电子设备及介质。本申请中,可以根据待存储数据中携带的存储标识,确定待存储数据用于存储到目标数据库时,获取记录有待存储数据的关联数据的第一关联关系,再将待存储数据拼装成包含第一键值对的数据对象,后续将数据对象以及第一关联关系存储到分布式键值对数据库中。通过应用本申请的技术方案,可以在检测到当前存在待存储数据时,可以首先不直接将该数据直接存储至数据库中,而是对其携带的存储标识进行解析,进而确定该数据的存储目的地。可以理解的,如果该数据用于存储到目标数据库时,可以根据该数据库的运行压力等因素选择是否将其缓存到分布式键值对数据库中,从而实现减轻数据库的压力的目的。
-
公开(公告)号:CN112149757B
公开(公告)日:2022-08-19
申请号:CN202011149579.X
申请日:2020-10-23
申请人: 新华三大数据技术有限公司
发明人: 史艳华
摘要: 本申请实施例提供了一种异常检测方法、装置、电子设备及存储介质。方案如下:利用预设训练集包括的多个样本数据,训练VAE模型;将多个样本数据分别输入训练好的VAE模型,得到每个样本数据对应的第一输出数据;根据每个样本数据与每个样本数据对应的第一输出数据之间的第一重构误差,确定重构误差概率密度分布曲线;确定重构误差概率密度分布曲线中目标拐点所对应的第一重构误差为异常重构误差阈值;根据异常重构误差阈值和训练好的VAE模型,对待检测数据进行异常检测。通过本申请实施例提供的技术方案,提高了确定出的异常重构误差阈值的准确性,从而提高了异常检测的准确性。
-
公开(公告)号:CN114896276A
公开(公告)日:2022-08-12
申请号:CN202210307614.9
申请日:2022-03-25
申请人: 新华三大数据技术有限公司
发明人: 张战防
IPC分类号: G06F16/2453 , G06F16/2455 , G06F16/27
摘要: 本发明涉及数据库技术领域,具体涉及数据存储方法、装置、电子设备及分布式存储系统,该方法应用于分布式存储系统的计算节点,包括获取待处理数据以及待处理数据对应的元数据信息,所述元数据信息包括待处理数据需要写入的位置信息;将待处理数据写入内存并在内存中基于待处理数据以及元数据信息生成待存储数据;将待存储数据写入存储节点,以使得存储节点基于待存储数据中的元数据信息对待处理数据进行存储。将计算与存储分离,在计算节点中利用待处理数据以及元数据信息生成待存储数据,由于待存储数据是直接从内存进行网络传输,后续存储节点就可以直接在自身的内存中对待处理数据进行存储,避免了IO操作,提高了数据存储的效率。
-
公开(公告)号:CN110704435B
公开(公告)日:2022-08-09
申请号:CN201910907241.7
申请日:2019-09-24
申请人: 新华三大数据技术有限公司
发明人: 郝向东
摘要: 本申请实施例提出一种数据存储方法、电子设备及机器可读存储介质。电子设备获取需要写入数据表的第一数据,获取第一数据的数据源对应的指纹计算模板,根据指纹计算模板和第一数据计算第一数据的第一指纹,根据数据源从查重表中查找来自该数据源的第二数据的第二指纹,判断查找到的第二指纹与第一指纹是否相同,如果相同,则删除第一数据。如此,可以基于查重表实现数据的快速查重、去重和存储,查重过程不必查询数据表,不必在数据表上为不同数据源分别建立索引来加快查询数据表的速度,避免了对数据表上的多个索引进行动态维护所导致的数据表写入性能差的问题,且节约了数据表上索引占据的物理空间和维护开销。
-
公开(公告)号:CN110442392B
公开(公告)日:2022-08-09
申请号:CN201910642019.9
申请日:2019-07-16
申请人: 新华三大数据技术有限公司
发明人: 刘青正
摘要: 本申请提供了一种包隔离方法、装置、电子设备和存储介质,其中,该方法包括:所述管理模块确定所述被管理模块当前要执行的功能;所述管理模块确定所述功能在所述被管理模块中基于全球广域网Web服务访问对象的统一资源定位符URL;所述管理模块向所述被管理模块发送携带有所述URL的访问请求,以使所述被管理模块根据所述URL调用所述第二进程中与所述功能对应的所述第二基础软件包,上述方法能够使管理模块完成对被管理模块的管理,以及能够使被管理模块能够正常调用各第二基础软件包。
-
公开(公告)号:CN114866483A
公开(公告)日:2022-08-05
申请号:CN202210309380.1
申请日:2022-03-25
申请人: 新华三大数据技术有限公司
发明人: 杨文文
IPC分类号: H04L47/215 , H04L47/26 , H04L47/30
摘要: 本发明实施例涉及一种数据压缩流控方法、装置及电子设备,该方法包括:在当前周期内获取至少一个待压缩数据块,按照接收时间对这些待压缩模块进行排序;确定当前是否已触发数据压缩流控机制;当确定已触发数据压缩流控机制后,根据令牌桶中的压缩资源确定至少一个待压缩数据块中排序为第i位的待压缩数据块是否进行数据压缩;当确定不再压缩时,反馈该待压缩数据块至数据传输的上一层。避免因为数据压缩需要排队所导致的IO时延变大,业务性能降低,甚至是用户业务掉零、中断等情况的发生。该方案是在全闪存的空间利用率和业务性能之间做了一个均衡处理。尽量不影响业务性能的情况下,提高全闪存的空间利用率,以减少用户对于全闪存的应用成本。
-
公开(公告)号:CN114816656A
公开(公告)日:2022-07-29
申请号:CN202210244410.5
申请日:2022-03-11
申请人: 新华三大数据技术有限公司
IPC分类号: G06F9/455
摘要: 本发明实施例涉及一种容器组迁移方法、电子设备及存储介质,该方法包括:周期性的向至少一个存储器发送读取请求;获取与读取请求对应的响应信息;当根据数据结果,确定第一存储器和与第一存储器建立通信连接的一个或多个pod之间的第一通信连接关系异常时,向预设控制器发送第一通知消息,其中,以便预设控制器根据第一通知消息,完成对一个或多个pod的迁移工作。通过该方式,可以及时的发现pod与存储器之间的连接关系是否发生异常。并在发生异常的时候,将pod迁移到其他工作节点上工作,以免延误业务数据的正常处理。而且,该方式还可以避免因为pod与存储器之间的连接异常的情况下,K8s还会让pod自动重启,造成恶性循环的情况发生。
-
公开(公告)号:CN112866434B
公开(公告)日:2022-07-12
申请号:CN202110090127.7
申请日:2021-01-22
申请人: 新华三大数据技术有限公司
IPC分类号: H04L61/5007 , H04W76/11 , H04W76/10 , H04L61/103 , H04L67/02 , H04L101/622
摘要: 本申请提供一种信息配置方法、装置、电子设备及存储介质,该方法应用于无线终端,该方法包括:在扫描到提供有指定的SSID的云AP时,基于SSID与云AP建立无线连接;在接收到管理员输入的获取云AP所在的有线网络中的所有云AP的地址信息的获取指令时,获取云AP在有线网络中学习到的ARP表项;根据获取到的APR表项中包括的地址信息,确定有线网络中除云AP之外的其他云AP的地址信息,并将其他云AP的地址信息和获取的云AP的地址信息显示给管理员;在接收到管理员基于显示的地址信息输入的对应的云AP的有线网络配置信息时,将有线网络配置信息通知给对应的云AP。本申请实施例可大大减少管理员的配置工作量。
-
公开(公告)号:CN112367238B
公开(公告)日:2022-07-12
申请号:CN202011049386.7
申请日:2020-09-29
申请人: 新华三大数据技术有限公司
发明人: 龙三丰
IPC分类号: H04L12/46 , H04L41/0896 , H04L61/103 , H04L45/74
摘要: 本申请提供一种报文处理方法及装置,所述方法应用于第一PE,所述第一PE处于EVPN VPLS组网内,所述EVPN VPLS组网还包括第一CE以及第二PE,所述第一PE、第二PE组成多归属成员组,所述第一CE通过不同链路分别与所述第一PE、第二PE连接,所述方法包括:所述第一PE接收第三PE发送的网络报文,所述网络报文包括报文属性标记;当所述第一PE在所述多归属成员组内的角色为备份DF时,所述第一PE根据所述报文属性标记,不再向所述第一CE发送所述网络报文。
-
-
-
-
-
-
-
-
-