一种基于数据权限及数据安全脱敏的数据访问方法

    公开(公告)号:CN118886058A

    公开(公告)日:2024-11-01

    申请号:CN202410961912.9

    申请日:2024-07-18

    IPC分类号: G06F21/62 G06F21/60

    摘要: 本发明涉及数据安全技术领域,尤其涉及一种基于数据权限及数据安全脱敏的数据访问方法,本发明通过确定查询请求对应的解析字段所在的位置信息,将数据库终端的查询记录中各记录字段与解析字段进行位置信息比对,以构建字段集合,通过确定字段集合内与解析字段对应的权限等级相同的字段数量,判定解析字段是否为规避脱敏解析字段,通过确定有效替换位置,对规避脱敏解析字段的有效替换位置处的字段进行字符替换,最后,输出完成字符替换的解析字段,进而,实现了对数据窃取的识别,以及有效避免了窃取敏感数据的多个脱敏数据样本关联分析可能导致的敏感数据泄露,提高了数据访问的安全性。

    一种用于图片RGB色块比例排序方法

    公开(公告)号:CN118484552B

    公开(公告)日:2024-11-01

    申请号:CN202410653578.0

    申请日:2024-05-24

    摘要: 本发明涉及人工智能领域,尤其涉及一种用于图片RGB色块比例排序方法,包括:采集用户输入的文本;划分文本后提取关键词;将提取的所述关键词分别在特征词库和情感词库中进行比对后获取特征关键词和情感关键词;基于颜色词汇表确定各特征关键词和情感关键词对应的颜色词汇;采用均值法确定文本RGB颜色分量比例;基于特征关键词从图库中筛选对应图片;基于图片兆字节数确定图片RGB颜色分量比例统计策略后完成图片RGB颜色分量比例的计算;确定色彩偏差评价值,并根据色彩偏差评价值判定图片的筛选是否符合预设标准,优化了大模型图片的生成和色彩渲染。

    一种基于Iceberg的数据治理实施系统

    公开(公告)号:CN118568052B

    公开(公告)日:2024-10-01

    申请号:CN202411034493.0

    申请日:2024-07-31

    摘要: 本发明涉及数据处理技术领域,尤其涉及一种基于Iceberg的数据治理实施系统,包括:数据采集模块,用以对数据湖中的文件的元数据进行采集;数据处理模块,其与所述数据采集模块相连,用以根据Iceberg对所述元数据进行处理以输出治理数据;存储模块,其分别与所述数据采集模块和所述数据处理模块相连,用以分别对所述元数据、所述衍生数据、所述派生数据以及所述治理数据进行存储;控制模块,其分别与所述数据采集模块、所述数据处理模块以及所述存储模块相连,用以根据治理数据与元数据的字节差异量的方差确定数据治理状态,根据所述数据治理状态分别确定元数据采集录入区的存储容量或数据重分布的准确性。本发明实现了对于数据治理的稳定性的提高。

    湖仓一体平台自动生成操作日志的方法

    公开(公告)号:CN118708435A

    公开(公告)日:2024-09-27

    申请号:CN202410815903.9

    申请日:2024-06-24

    摘要: 本发明涉及数据仓库技术领域,尤其涉及一种湖仓一体平台自动生成操作日志的方法,该方法包括:实时捕捉用户操作行为,提取操作行为中操作参数,基于预设标签规则和操作参数生成目标标签;基于目标标签与操作行为的时间戳进行关联,形成初始操作日志;识别初始操作日志中敏感信息,对敏感信息进行分析,基于分析结果对初始操作日志进行加密处理,获取加密日志;基于存储节点的数量和敏感信息的分析结果对加密日志进行存储,获取初始存储日志;对初始存储日志的访问记录进行实时监测,根据访问记录的监测结果调整初始存储日志,以根据调整结果对初始存储日志的存储进行更新,获取更新存储日志。本发明提高操作日志生成结果的准确性。

    一种基于数据分析的查询系统
    5.
    发明公开

    公开(公告)号:CN118656390A

    公开(公告)日:2024-09-17

    申请号:CN202410712867.3

    申请日:2024-06-04

    摘要: 本发明涉及一种基于数据分析的查询系统,尤其涉及数据库管理技术领域,该查询系统包括用以实现对用户执行动态权限管理的用户信息管理模块,用以对用户请求、缓存、数据源以及数据安全进行管理的数据源管理模块,以及用以对若干数据库进行管理的数据库管理模块,本发明通过对用户的查询请求进行分析,确定用户请求是否存在缓存中,以使确定针对查询请求的查询模式的选择,从而可以在查询过程中进行灵活选择,并通过在相应查询模式下,设置不同的监督力度,以执行对查询过程的监督,提高了对数据查询过程的控制的精准性。

    基于分布式缓存的大规模Kafka集群Topic列表快速获取方法

    公开(公告)号:CN118612298A

    公开(公告)日:2024-09-06

    申请号:CN202410659442.0

    申请日:2024-05-27

    摘要: 本发明涉及缓存技术领域,尤其涉及基于分布式缓存的大规模Kafka集群Topic列表快速获取方法,包括:步骤S1,定期获取Kafka集群中的实时主题元数据;步骤S2,采用键值对的数据结构类型将所述主题元数据缓存到分布式缓存系统中;步骤S3,分布式缓存系统对主题信息调用请求进行验证并对主题信息调用请求和主题信息分别进行缓存和备份;步骤S4,所述分布式缓存系统将所述主题元数据发送至调用请求方以生成主题列表;步骤S5,根据主题列表的生成时长的波动幅度判定主题列表获取稳定性是否符合要求;步骤S6,调整元数据的更新方式;步骤S7,根据分布式缓存系统的数据恢复时长对所述备份的延迟时长进行二次调节;本发明实现了主题列表快速获取。

    一种基于语法解析模型的数据库语法扩展方法

    公开(公告)号:CN118012435A

    公开(公告)日:2024-05-10

    申请号:CN202410137332.8

    申请日:2024-01-31

    IPC分类号: G06F8/41 G06F8/30

    摘要: 本发明涉及大数据语语言编写技术领域,尤其涉及一种基于语法解析模型的数据库语法扩展方法,包括,G4文件解析器解析G4词法文件和G4语法文件,并将解析的词法、语法集合存入ANTLR词法库或ANTLR语法库中;通过语法编写Web页面对需求词法或语法进行编写;所述ANTLR语法库或所述ANTLR词法库对存储的特定的语法结构或词法结构进行查找,生成与编写需求相符的某个数据库的语法文件或词法文件;特定语言的语法树生成模块根据语言需求对生成的语法文件或词法文件进行语言转换。用户只需在Web页面中进行简单的编辑即可将新的解析规则添加到ANTLR词法、语法库中,从而支持新的语法规则。降低开发和维护成本。

    一种大数据标签的存储方法
    8.
    发明公开

    公开(公告)号:CN117992449A

    公开(公告)日:2024-05-07

    申请号:CN202311839931.6

    申请日:2023-12-29

    IPC分类号: G06F16/22 G06F16/2453

    摘要: 本发明涉及数据存储技术领域,尤其涉及一种大数据标签的存储方法,包括:获取封装数据及封装数据内容对应的索引标签;根据所述索引标签形成对应的若干索引向量,并将各索引向量归并为基础检索目录;收集数据运行周期的检索数据,并根据运行周期的检索数据对各所述封装数据确定对应的检索标签;将对同一所述封装数据的所述索引标签和所述检索标签进行检索关联,形成运行检索目录;对所述运行检索目录以目录简化策略进行简化,以形成新的基础检索目录;根据所述新的基础检索目录检索;本发明借助ElasticSearch存储标签数据,提高了查询效率,并且利用ElasticSearch的别名功能实现了数据一致性的保证,并且提高了用户查询体验及使用效率。

    一种基于ODBC的数据库
    9.
    发明公开

    公开(公告)号:CN117971946A

    公开(公告)日:2024-05-03

    申请号:CN202410079419.4

    申请日:2024-01-19

    摘要: 本发明涉及智能数据库领域,尤其涉及一种基于ODBC的数据库,包括:查询单元,用以进行信息查询;操作单元,用以进行用户操作,用户操作包括数据的读取、插入、更新和删除;安全单元,用以统计该周期内申请使用数据库失败的人员信息并发送至历史储存单元;历史储存单元,用以储存申请使用数据库失败的人员信息;显示单元,用以显示申请使用数据库失败的人员信息以及备份单元的备份提醒信息;备份单元,用以周期性地储存数据库删除信息并发送至显示单元以提醒用户是否备份;进而通过多功能的设置,提高数据库的工作效率。

    无效任务的处理方法、装置、计算机设备及存储介质

    公开(公告)号:CN114757278B

    公开(公告)日:2022-12-16

    申请号:CN202210395061.7

    申请日:2022-04-15

    发明人: 刘拓 于洋 高经郡

    IPC分类号: G06K9/62 G06F9/50 G06F9/48

    摘要: 本申请公开了一种无效任务的处理方法、装置、计算机设备及存储介质,其中,该无效任务的处理方法包括:获取任务调度请求,任务调度请求包括至少一个已编写任务。启动数据中台任务分析引擎,用于调用已训练的无效任务识别模型分析已编写任务,获取任务分析结果。若任务分析结果为无效任务,则将已编写任务回收至待处理任务池。该方法可有效提高数据中台的数据处理效率,降低无效任务所占用的存储资源,提高识别和处理无效任务的自动化程度和效率。