一种流式重复数据检测方法

    公开(公告)号:CN102253820B

    公开(公告)日:2013-03-20

    申请号:CN201110162619.9

    申请日:2011-06-16

    Abstract: 本发明提供了一种流式重复数据检测方法,通过构建一个计时型布隆过滤器阵列TBFA,在滑动窗口模型内灵活高效地检测重复数据。TBFA由多个同构的计时型布隆过滤器TBF构成,每个TBF包含一个布隆过滤器和一个分离的用于保存时间戳的计时器组,整个TBFA以一种循环先入先出队列的方式工作,在记录新元素的同时,淘汰已经移出数据流监控窗口的旧元素。本发明在滑动窗口模型下工作,对元素的监测可以精确到一个元素,从而使基于本发明的统计结果具有稳定性,另外TBFA中的部分计时器组可以被卸载到磁盘中,从而减少内存开销。理论分析和实验数据表明,DCBA在加载10%以内数据内容到内存的情况下,能够保持95%以上的查询效率,从而使本发明在空间效率和可扩展性上优于现有技术方案。

    一种云存储系统的安全访问方法

    公开(公告)号:CN102546764A

    公开(公告)日:2012-07-04

    申请号:CN201110430338.7

    申请日:2011-12-20

    Abstract: 一种云存储系统的安全访问方法,属于计算机存储技术和信息安全技术领域,解决现有安全访问方法存在的密钥管理和分发复杂的问题。本发明包括客户端进程、认证端进程和存储端进程,客户端基于属性密码机制为每个用户生成主密钥和公开参数;认证端装载用户属性库、文件属性库和属性密钥库;本发明通过明确的用户、文件和文件操作类型的属性构成访问控制字符串来决定用户对文件访问权限,这样能够解决复杂云存储系统中的细粒度访问控制和大规模用户动态扩展问题,极大程度地减少了云存储系统的访问控制开销为存储系统安全访问提供更加灵活有效更加安全的访问控制机制。

    一种连续数据保护和恢复方法

    公开(公告)号:CN101739313B

    公开(公告)日:2012-02-29

    申请号:CN200910272925.0

    申请日:2009-11-27

    Abstract: 一种连续数据保护和恢复方法,属于计算机数据存储和备份方法,解决现有连续数据保护和恢复方法不易确定合适的恢复时间的问题。本发明包括主机过程和服务器过程,两个过程并行进行,主机过程包括:发起连接、拷贝、主机判断命令、写操作信息记录、全量恢复和增量恢复步骤;服务器过程包括:接受连接、服务器存储拷贝数据、服务器判断命令、服务器存储写操作信息、恢复请求判断和数据恢复步骤。本发明不仅能支持用户的多次将数据恢复到任意时间点的请求,而且能使完成恢复所需的写数据量最小,并支持更方便高效地调整恢复到的时间以寻找合适的恢复点,将数据丢失减至最低。主机与服务器的分离,保证当本地主机硬盘损坏后,仍可进行数据恢复。

    数据库的资源调度方法、系统、装置与存储介质

    公开(公告)号:CN119149229A

    公开(公告)日:2024-12-17

    申请号:CN202411182357.6

    申请日:2024-08-26

    Abstract: 本申请涉及计算机技术领域,尤其涉及一种数据库的资源调度方法、系统、装置与存储介质,方法包括:数据库集群中存在新创建的初始容器组时,分别确定各节点的节点剩余资源;基于初始容器组关联的至少一个历史容器组的资源占用信息,获得初始容器组的预测需求资源;在节点剩余资源满足预设需求资源的各节点中选取候选节点,对每个候选节点,预测将初始容器组调度至该候选节点后,该候选节点上最新的节点剩余资源的资源倾斜情况;将资源倾斜情况满足预设的资源分布条件的一个候选节点作为目标节点,将初始容器组调度至目标节点。由于本申请会预测容器组放置后节点上剩余资源的倾斜情况,以避免节点上各类资源出现严重倾斜,提高节点的资源利用率。

    一种DFS中基于负载感知的目录级迁移方法和系统

    公开(公告)号:CN118278500A

    公开(公告)日:2024-07-02

    申请号:CN202410524935.3

    申请日:2024-04-29

    Abstract: 本发明公开了一种在DFS中通过基于负载感知的目录级迁移的方法,首先通过机器学习模型分析负载信息以提前发现热点目录,随后,综合预测出的目录热度和系统节点状态情况,提出迁移代价分析模型衡量迁移数据的必要性和紧急度,进而确定何时触发迁移或容忍不均的情况,然后,为了更好的利用局部性,设计了同级目录协同迁移机制,最后,采用多目标优化的方法来恰当的选择所要迁入的存储节点。本发明能解决现有文件级数据迁移方法由于在迁移过程中引入过多的指针,导致增加额外开销的技术问题,在迁移过程中文件的热度消失很快,导致频繁的文件级迁移操作过程中出现很多无效迁移的技术问题,以及由于不能够充分发现热点数据,导致迁移效率低的技术问题。

    一种基于Transformer的云数据库异常检测方法与系统

    公开(公告)号:CN116796273A

    公开(公告)日:2023-09-22

    申请号:CN202310754770.4

    申请日:2023-06-25

    Abstract: 本发明公开了一种基于Transformer的云数据库异常检测方法,包括以下步骤:获取云数据库的关键性能指标KPI数据,对采集的云数据库的KPI数据进行降维处理,以获取降维处理后的云数据库的KPI数据;对降维处理后的云数据库的KPI数据进行预处理,以获取云数据库KPI样本数据;将获取的云数据库的KPI数据输入预先训练好的云数据库异常检测模型TransAD中,以获取异常检测结果。本发明能够解决现有云数据库异常检测方法忽视由于了云数据库集群的特点,仅考虑了数据库自身不同KPI之间的相关性,而没有考虑数据库之间的相关性,因此无法从集群整体层面来度量数据库的异常状态,因此会导致检测精确率低的技术问题。

    日志压缩、日志还原方法、装置、计算机设备和存储介质

    公开(公告)号:CN115408350A

    公开(公告)日:2022-11-29

    申请号:CN202210822255.0

    申请日:2022-07-13

    Abstract: 本申请涉及一种日志压缩、日志还原方法、装置、计算机设备、存储介质和计算机程序产品。本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。所述方法包括:将模板字符串排列信息和目标日志的字符串排列信息匹配成功的候选日志模板作为初始日志模板;从目标日志的日志字符串中,将与初始日志模板中的变量类模板字符串匹配的日志字符串作为第一初始字符串,将与初始日志模板中的常量类模板字符串匹配的日志字符串作为第二初始字符串;基于初始日志模板对应的模板标识、各个第一初始字符串分别对应的第一编码数据、目标日志中第一初始字符串和第二初始字符串之间的第一位置关系,生成日志压缩数据,以此提高日志压缩率。

    一种面向多负载的云数据库二级索引自动推荐方法和系统

    公开(公告)号:CN113360497A

    公开(公告)日:2021-09-07

    申请号:CN202110579171.4

    申请日:2021-05-26

    Abstract: 本发明公开了一种面向多负载的云数据库二级索引自动推荐方法,其包括:从数据库中的查询语句集合中随机选择多个查询语句组成查询语句样本集{q1,q2,...,qR},对样本集进行向量化处理,以得到查询语句向量组{x1,x2,...,xR},使用k‑means算法对向量组进行聚类分析,以得到k个2*N维向量作为k个查询模板、以及k个查询模板中每一个查询模板的权重,并用这k个查询模板表示整个查询语句集合的特征,将k个查询模板、以及每个查询模板的权重输入到预先训练好的多负载索引推荐模型中,以得到索引配置。本发明能够解决现有基于启发式的方法和机器学习的方法由于模型通用性差、只能为单一查询集合推荐索引配置,导致无法适用于云数据库业务场景的技术问题。

    一种支持高效写的自适应学习索引方法和系统

    公开(公告)号:CN113268457A

    公开(公告)日:2021-08-17

    申请号:CN202110562163.9

    申请日:2021-05-24

    Abstract: 本发明公开了一种支持高效写的自适应学习索引方法(Aaptive Learned Index Supporting Efficient Writes,EWALI)。EWALI方案基于高效的ShrinkingCone算法,能够根据数据分布进行动态数据分片,保证分片后每个数据片内的数据分布趋于线性。EWALI方案实现数据感知递归模型索引DARMI,能够根据数据分布的变化,自适应进行节点拆分、重训练等操作,动态地调整索引结构。为支持更高效的写操作,EWALI方案设计了采用单缓存设计来处理增量数据,将写操作异步化处理,通过后台线程进行数据合并。读操作按照增量缓存、DARMI的顺序查询记录。写操作直接往增量缓存中写入数据,通过后台线程完成数据的合并操作。

    一种基于CP-ABE的可追溯云存储访问控制方法和系统

    公开(公告)号:CN111614680B

    公开(公告)日:2021-04-02

    申请号:CN202010446221.7

    申请日:2020-05-25

    Abstract: 本发明公开了一种基于CP‑ABE的可追溯云存储访问控制方法,其在CP‑ABE方案的原理基础上,引入一个公开的访问记录数据库,用于存储用户对文件的访问记录,实现了访问记录的可追溯,用于恶意用户的甄别;此外,本发明通过数据拥有者在加密阶段,使用不同于原始CP‑ABE方案的秘密值分割方式,以及使用无证书签名方案对访问控制策略进行无证书签名,把签名数据加入到密文计算中,解决了原始CP‑ABE方案加、解密计算效率低的问题,有效地抵御了云环境中恶意用户的攻击,如修改访问控制策略、修改密文、冒充数据发布者发布数据等。

Patent Agency Ranking