-
公开(公告)号：CN109995589B
公开(公告)日：2022-09-09
申请号：CN201910255934.2
申请日：2019-03-29
申请人： 新华三大数据技术有限公司
摘要： 本公开提供一种日志采集方法及系统，涉及通信技术领域。该方法包括：日志接收端监听预先设置的端口，获取来自至少一个日志发送节点的日志；对于获取的每个日志，日志接收端将该日志转换为第一消息保存在第一消息队列；分发节点对从第一消息队列中获取的任一第一消息，确定该第一消息对应的日志发送节点的标识，并将第一消息转换为第二消息后保存到日志发送节点的标识对应的第二消息队列。通过对预先设置的端口进行监听，无需对日志接收端的其他端口进行监听，无需启动多个任务监听多个端口，减少了日志接收端所占用的资源，提高了日志接收端的利用率，提高了获取日志的灵活性。
-
公开(公告)号：CN113542059B
公开(公告)日：2022-08-30
申请号：CN202110724195.4
申请日：2021-06-29
申请人： 新华三大数据技术有限公司
发明人： 蒋文栋
IPC分类号： H04L43/0811 , H04L45/00 , H04L45/247
摘要： 本公开提供一种段路由多路径BFD检测方法、装置及存储介质，用于解决BFD探测无法覆盖所有转发路径并准确评估路径整体的通断情况的技术问题。本公开技术方案对BFD报文进行扩展得到MPBFD报文，从源节点到目的节点上的每条路径的路由节点都在向多个等价路径下一跳转发BFD报文时添加由等价路径数量和路径出端口编号构成的字段，由段路由流量工程策略中的由段标识列表标识的目的节点将所接收到的所有BFD报文返回给源节点，源节点基于返回的BFD报文计算总和路径通过率，从而能够准确地确定出源目的节点之间的多条等价路径的总体通断情况。
-
公开(公告)号：CN113204776B
公开(公告)日：2022-08-30
申请号：CN202110481224.9
申请日：2021-04-30
申请人： 新华三大数据技术有限公司
IPC分类号： G06F21/60 , G06F16/22 , G06F16/242 , G06F16/2455 , G06F16/248
摘要： 本公开提供了一种实现列加密的方法、装置、设备及存储介质，用于解决数据库表不支持列加密及查询的技术问题。本公开通过对SQL引擎进行改进，在创建表时设置表属性，在表属性中设置加密列属性、加密秘钥属性等。在执行插入SQL语句时，使用秘钥对加密列数据进行加密存储，在执行查询SQL语句时，通过秘钥对加密列数据进行解密。本公开在不需要引入其他组件的情况下，使得数据库能够支持基于列的加密和查询功能，提高了数据库的安全性。
-
公开(公告)号：CN112988782B
公开(公告)日：2022-08-30
申请号：CN202110186758.9
申请日：2021-02-18
申请人： 新华三大数据技术有限公司
IPC分类号： G06F16/242 , G06F16/2455 , G06F16/27
摘要： 本公开提供了一种Hive支持交互式查询的方法、装置及存储介质，用于提高Hive的数据分析处理性能。本公开在SQL的解析和优化过程中，根据每张表的数据量或根据基于代价的优化规则操作树节点输出的数据量或输出的总记录条数来选择适合的执行引擎，使Hive同时支持批处理和交互式查询引擎，实现由Hive提供统一的SQL入口，融合交互式和批处理执行引擎，以提高Hive的数据分析处理性能。
-
公开(公告)号：CN112988066B
公开(公告)日：2022-08-30
申请号：CN202110198578.2
申请日：2021-02-23
申请人： 新华三大数据技术有限公司
发明人： 钟晋明
IPC分类号： G06F3/06
摘要： 本申请涉及分布式存储技术领域，特别涉及一种数据处理方法及装置。该方法应用于分布式存储系统，该分布式存储系统包括HDD组成的一级存储池，HDD和SSD组成的二级存储池和SSD组成的三级存储池，任一存储池配置有对应业务使用的存储卷，该方法包括：接收目标业务的IO流；对该目标业务的IO流进行解析处理，统计该目标业务的IO流随机读写和/或顺序读写的比例；基于该目标业务的IO流随机读写和/或顺序读写的比例，将该目标业务使用的目标存储卷迁移至对应级别的目标存储池，一个业务的IO流随机读写越少/顺序读写越多，该业务所需的存储池的IO性能越低，一个业务的IO流随机读写越多/顺序读写越少，其所需的IO性能越高。
-
公开(公告)号：CN112596935B
公开(公告)日：2022-08-30
申请号：CN202011277812.2
申请日：2020-11-16
申请人： 新华三大数据技术有限公司
发明人： 闵顺新
摘要： 本申请涉及数据存储技术领域，特别涉及一种OSD故障处理方法及装置。该方法包括：在检测到目标OSD故障时，将所述目标OSD设置为下线状态；确定所述目标OSD故障类型，并基于所述目标OSD的故障类型，确定所述目标OSD的目标隔离模式；若所述目标隔离模式为第一隔离模式，则在将所述目标OSD设置为上线状态之前，对所述目标OSD故障进行故障是否解除的检测，在通过检测确定故障解除时，将所述目标OSD设置为上线状态。
-
公开(公告)号：CN112596741B
公开(公告)日：2022-08-30
申请号：CN202011278703.2
申请日：2020-11-16
申请人： 新华三大数据技术有限公司
IPC分类号： G06F8/61
摘要： 本申请涉及视频监控技术领域，特别涉及一种视频监控服务部署方法及装置。该方法包括：在存储集群的各存储服务器上安装docker相关命令；对各存储服务器进行层级划分处理，并根据层级划分结果分别向各层级的存储服务器推送视频监控docker镜像；向各存储服务器发送视频监控docker镜像加载请求，以使得各存储服务器基于docker相关命令加载视频监控docker镜像；向各存储服务器发送视频监控docker容器创建和启动请求，以使得各存储服务器基于视频监控docker镜像启动视频监控docker容器；基于docker命令向各存储服务器下发配置命令，以使得各存储服务器基于配置命令携带的参数对视频监控docker容器进行配置。
-
公开(公告)号：CN112231326B
公开(公告)日：2022-08-30
申请号：CN202011060922.3
申请日：2020-09-30
申请人： 新华三大数据技术有限公司
发明人： 李晓颖
IPC分类号： G06F16/23 , G06F16/17 , G06F16/182
摘要： 本说明书提供一种检测Ceph对象的方法和服务器，该方法包括：监控预设周期内Ceph对象是否有数据变化，若无变化，则不数据一致性检测，若有变化，则对所述Ceph对象进行数据一致性检测。通过该方法，可以当监控到对象数据变化时，对该对象进行数据检测，从而避免现有技术中对Ceph所有对象进行数据检测造成大量占用系统资源的情况。
-
公开(公告)号：CN111694811B
公开(公告)日：2022-08-30
申请号：CN202010247836.7
申请日：2020-04-01
申请人： 新华三大数据技术有限公司
发明人： 李京京
摘要： 本发明提供了一种批量数据入库方法及装置，用于解决大批量数据导入Hbase数据库时使用SparkSQL调用Hbase提供的原生批量导入接口不支持对Phoenix的二级索引同步更新的技术问题。本发明对批量导入Hbase表的文本数据进行预处理，将预处理后的文本文件存储HDFS指定位置，然后通过集成在SparkSQL中的Phoenix的批量数据导入工具类的实例对象，基于在SparkSQL运行环境中构造的批量数据导入工具类的参数，实现以批量导入方式将海量文本数据导入Hbase中且同时同步更新Phoenix的二级索引。
-
公开(公告)号：CN111506601B
公开(公告)日：2022-08-30
申请号：CN202010246306.0
申请日：2020-03-31
申请人： 新华三大数据技术有限公司
IPC分类号： G06F16/2453 , G06F16/2455 , G06F16/25 , G06F16/28
摘要： 本申请涉及数据存储技术领域，特别涉及一种数据处理方法及装置，应用于RBD客户端，所述RBD客户端至少包括命令代理模块和封装后的标准函数及命令接口库，其中，所述方法包括：所述命令代理模块接收应用系统下发的接口调用指令；所述命令代理模块基于所述接口调用指令，确定应用系统所需调用的第一接口，并基于所述第一接口，从所述封装后的标准函数及命令接口库中确定与所述第一接口对应的封装后的第二接口，其中，所述封装后的标准函数及命令接口库是基于RBD客户端的应用场景自定义开发的；所述命令代理模块调用所述第二接口向后端存储集群发送对应的命令消息。
-
-
-
-
-
-
-
-
-
搜索结果
1465 条记录 (耗时 0.07 秒)
