-
公开(公告)号：CN115481448B
公开(公告)日：2023-06-20
申请号：CN202211131868.6
申请日：2022-09-16
申请人： 昆仑数智科技有限责任公司 , 中国石油天然气集团有限公司
摘要： 本申请公开了一种数据获取方法、装置、服务器及存储介质，属于互联网技术领域。该方法将第一数据获取请求中的查询参数组进行封装，得到参数实体；将目标账号的账号信息以及第一权限信息进行封装，得到账号实体；基于账号实体和参数实体，对目标账号进行权限验证；在目标账号通过权限验证时，将多个目标查询参数进行拼接、封装，得到第一逻辑查询语句；基于第一逻辑查询语句，查询第一数据库；将多个目标查询参数填充至第二逻辑查询语句中，得到目标逻辑查询语句；基于目标逻辑查询语句，查询第二数据库，得到第一目标数据。可见，该方法在目标账号通过权限验证的情况下，才从数据库中获取目标数据，以避免数据泄露，从而提高数据的安全性。
-
公开(公告)号：CN115470229A
公开(公告)日：2022-12-13
申请号：CN202211045460.7
申请日：2022-08-30
申请人： 昆仑数智科技有限责任公司 , 中国石油天然气集团有限公司
IPC分类号： G06F16/242 , G06F16/22 , G06F16/2458
摘要： 本公开提供了一种数据表处理方法、装置、电子设备及存储介质，属于互联网技术领域。该方法包括：根据时间维度类型和时间段，生成时间参数；获取第一SQL文件，第一SQL文件用于执行处理请求，第一SQL文件由多条SQL语句拼接而成，SQL语句中用于表征时间的代码采用时间变量表示；将第一SQL文件包括的每条SQL语句的时间变量替换为时间参数，得到第二SQL文件；将执行第二SQL文件生成的针对目标指标的处理结果写入到目标数据表中。本公开将用于执行同一处理请求的SQL语句写入同一SQL文件中，然后对各个SQL语句中的时间变量进行统一替换，克服了各个SQL中时间变量修改不统一的问题，提高了处理后数据表的准确性。
-
公开(公告)号：CN117675544A
公开(公告)日：2024-03-08
申请号：CN202211043340.3
申请日：2022-08-29
申请人： 昆仑数智科技有限责任公司 , 中国石油天然气集团有限公司
IPC分类号： H04L41/069 , H04L41/0853 , H04L67/1097 , H04L67/30
摘要： 本申请提供了一种大数据组件平台的告警方法、装置、设备及存储介质，该告警方法包括：响应大数据管理平台的安装请求，读取配置文件；根据配置文件确定大数据管理平台及运算存储组件集群的各个组件的配置环境；根据配置环境，安装并启动大数据管理平台；从大数据管理平台的各个节点中获取运算存储组件集群的各个组件，将各个组件分别配置到对应的主机中并启动各个组件；获取各个组件的运行状态数据；在各个组件中确定出所述运行状态数据不符合预设规则的目标组件，并向目标组件的第一联系人发送告警提示信息。本申请通过将告警规则集成到大数据组件平台中，并改变告警提示信息的发送类型，增强告警效果。
-
公开(公告)号：CN117667905A
公开(公告)日：2024-03-08
申请号：CN202211040030.6
申请日：2022-08-29
申请人： 昆仑数智科技有限责任公司 , 中国石油天然气集团有限公司
IPC分类号： G06F16/215 , G06F16/22 , G06F16/242
摘要： 本申请提供了一种数据处理方法、装置、电子设备及存储介质，该方法包括：获取数据仓库中经过轻度汇总的目标数据，对目标数据进行扁平化处理，得到目标数据集，然后目标数据集进行表格化处理，得到表格型数据，针对表格型数据，将至少一个所述索引作为联合主键，根据联合主键对所述表格型数据进行分组，并对重复的分组结果进行去重处理，得到去重数据，最后将去重数据写入目标文件，并将目标文件存储至数据仓库，同时删除目标数据。本申请能够在资源有限的情况下，对数据仓库中的冗余数据进行去重，从而提高对数据的计算效率。
-
公开(公告)号：CN117632994A
公开(公告)日：2024-03-01
申请号：CN202210979312.6
申请日：2022-08-16
申请人： 昆仑数智科技有限责任公司 , 中国石油天然气集团有限公司
IPC分类号： G06F16/242 , G06F16/2455 , G06F16/27 , G06F16/28
摘要： 本申请提供了一种数据查询方法、数据查询装置、电子设备和存储介质，该数据查询方法包括：获取客户端发送的用户根据接口文档填写的原始请求语句；对所述原始请求语句进行解析，得到所述原始请求语句对应的目标SQL编号和目标请求参数；利用所述目标SQL编号从所述接口文档中的至少一条SQL模板语句中确定出目标SQL模板语句，并利用所述目标请求参数以及所述目标SQL模板语句进行语句拼接，得到SQL目标语句；利用所述SQL目标语句进行数据查询，得到所述SQL目标语句对应的目标查询结果，并将所述目标查询结果返回给所述客户端。根据上述数据查询方法和数据查询装置，缩短了数据查询的响应时间，提高了数据查询的时效性。
-
公开(公告)号：CN115391457B
公开(公告)日：2023-09-12
申请号：CN202211014584.9
申请日：2022-08-23
申请人： 昆仑数智科技有限责任公司 , 中国石油天然气集团有限公司
IPC分类号： G06F16/27 , G06F16/2453 , G06F16/242 , G06F16/22
摘要： 本申请公开了一种跨数据库的数据同步方法、装置及存储介质，属于数据库技术领域。所述方法应用于服务器，并包括：获取第一数据库的重做日志中的第一结构化查询语言SQL语句；将第一数据库中目标表的第一SQL语句写入到中间系统中，得到写入的第一SQL语句；对写入的第一SQL语句进行转换，得到第二SQL语句；将第二SQL语句写入到第二数据库中，使得第一数据库的数据同步到第二数据库中。该方法可以快速将第一数据库的数据同步到第二数据库中，提高数据同步效率。
-
公开(公告)号：CN115470229B
公开(公告)日：2023-04-14
申请号：CN202211045460.7
申请日：2022-08-30
申请人： 昆仑数智科技有限责任公司 , 中国石油天然气集团有限公司
IPC分类号： G06F16/242 , G06F16/22 , G06F16/2458
摘要： 本公开提供了一种数据表处理方法、装置、电子设备及存储介质，属于互联网技术领域。该方法包括：根据时间维度类型和时间段，生成时间参数；获取第一SQL文件，第一SQL文件用于执行处理请求，第一SQL文件由多条SQL语句拼接而成，SQL语句中用于表征时间的代码采用时间变量表示；将第一SQL文件包括的每条SQL语句的时间变量替换为时间参数，得到第二SQL文件；将执行第二SQL文件生成的针对目标指标的处理结果写入到目标数据表中。本公开将用于执行同一处理请求的SQL语句写入同一SQL文件中，然后对各个SQL语句中的时间变量进行统一替换，克服了各个SQL中时间变量修改不统一的问题，提高了处理后数据表的准确性。
-
公开(公告)号：CN117633098A
公开(公告)日：2024-03-01
申请号：CN202210963025.6
申请日：2022-08-11
申请人： 昆仑数智科技有限责任公司 , 中国石油天然气集团有限公司
IPC分类号： G06F16/27 , G06F16/22 , G06F16/2455 , G06F16/25 , G06F16/23
摘要： 本申请涉及数据处理技术领域，尤其涉及一种基于Spark SQL的数据处理方法及装置，基于Spark引擎对原始数据进行处理，并将得到的处理结果的相应数据写入数据仓库的Hive表中，然后只需要通过Java调度程序配置与所述Hive表结构一样、名称一样的ElasticSearch表，即可将Hive表中的数据快速写入ElasticSearch表中，完成数据同步，从而在有大量数据表的数据需要进行同步时，可以大大节省工作量；并且在进行数据导入时，对于数据量较大的数据采用ElasticSearch搜索服务器自身的bulk load接口完成数据同步，对于数据量较小的数据通过Spark引擎调用SparkElasticSearch接口完成数据同步，从而根据要导入数据的数据量大小进行灵活控制，达到更高的数据同步效率。
-
公开(公告)号：CN115470294B
公开(公告)日：2023-05-12
申请号：CN202211045457.5
申请日：2022-08-30
申请人： 昆仑数智科技有限责任公司 , 中国石油天然气集团有限公司
IPC分类号： G06F16/27 , G06F16/18 , G06F16/242 , G06F16/2455 , G06F16/23
摘要： 本公开提供了一种数据库同步方法、装置、电子设备及存储介质，属于互联网技术领域。所述方法包括：基于源数据库中第一数据表的日志和目标数据库中第二数据表，确定第一数据表对应的有效SQL语句，第一数据表和第二数据的表名称相同；基于有效SQL语句对应的操作类型，采用不同方式，缓存有效SQL语句的主键；当达到预设时间，基于有效SQL语句的主键，按照有效SQL语句对应的操作类型，对第二数据表中数据进行同步。本公开基于有效SQL语句的主键，对第二数据表中数据进行同步，即便有效SQL语句中的字段存在缺失，也能够实现不同数据库的数据同步。
-
公开(公告)号：CN115481448A
公开(公告)日：2022-12-16
申请号：CN202211131868.6
申请日：2022-09-16
申请人： 昆仑数智科技有限责任公司 , 中国石油天然气集团有限公司
摘要： 本申请公开了一种数据获取方法、装置、服务器及存储介质，属于互联网技术领域。该方法将第一数据获取请求中的查询参数组进行封装，得到参数实体；将目标账号的账号信息以及第一权限信息进行封装，得到账号实体；基于账号实体和参数实体，对目标账号进行权限验证；在目标账号通过权限验证时，将多个目标查询参数进行拼接、封装，得到第一逻辑查询语句；基于第一逻辑查询语句，查询第一数据库；将多个目标查询参数填充至第二逻辑查询语句中，得到目标逻辑查询语句；基于目标逻辑查询语句，查询第二数据库，得到第一目标数据。可见，该方法在目标账号通过权限验证的情况下，才从数据库中获取目标数据，以避免数据泄露，从而提高数据的安全性。
-
-
-
-
-
-
-
-
-
搜索结果
12 条记录 (耗时 0.056 秒)