数据库脏页面检测方法、装置、计算设备及存储介质

    公开(公告)号:CN112966293B

    公开(公告)日:2022-06-03

    申请号:CN202011619225.7

    申请日:2020-12-31

    IPC分类号: G06F21/62 G06F16/28 G06F16/22

    摘要: 本发明公开一种数据库脏页面检测方法、装置、计算设备及存储介质,该方法包括:获取数据库搜索树一个节点;获取节点的页面格式,并确定节点的页面格式是否符合页面格式规则,当节点的页面格式不符合页面格式规则时,将节点的数据类型标记为脏数据类型;当节点的页面格式符合页面格式规则时,获取节点的当前数据类型;获取节点的实际数据类型,并确定节点的当前数据类型和实际数据类型是否一致;当节点的当前数据类型和实际数据类型不一致时,将节点的数据类型标记为脏数据类型;获取脏数据类型的节点的错误信息,并将错误信息存储至脏数据页错误信息库;重复上述部分以遍历搜索树的所有节点。根据本发明实施例可以实现数据库脏页面的检测。

    一种基于多维标签的数据质量检测方法和系统

    公开(公告)号:CN111563074B

    公开(公告)日:2022-05-31

    申请号:CN202010351007.3

    申请日:2020-04-28

    IPC分类号: G06F16/215 G06F16/28

    摘要: 本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签,并利用维度标签动态调整已知类型数据项的质量检测流程;基于未知类型数据项并结合检测规则库,利用规则相似性评估算法为未知类型数据源推荐质量检测引擎,并对所述质量检测引擎的结果进行验证,获得有效质量检测规则集合;保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法,解决固定检测规则模板引起的准确性差和时效性弱等问题,实现数据质量的快速准确检测且及时反馈检测结果,提升数据源的质量。

    用于日志碎片恢复的方法、装置及计算机可读介质

    公开(公告)号:CN110427282B

    公开(公告)日:2022-05-27

    申请号:CN201910646552.2

    申请日:2019-07-17

    IPC分类号: G06F11/14 G06F11/34

    摘要: 提供了用于日志碎片恢复的方法、装置及计算机可读介质。所述方法包括:加载日志文件中的数据以获取记录块的信息;根据所述信息跳转到所述记录块的起始偏移并读取所述记录块的头部信息,以获取所述记录块的空闲区的起始偏移;跳转到所述记录块的空闲区的起始偏移,针对所述空闲区的起始偏移来查找匹配的事件记录签名;如果匹配到签名,则解析具有所述签名的事件记录并校验所述事件记录的前后数据大小值是否匹配;以及如果所述事件记录的前后数据大小值是匹配的,则保存所述事件记录。

    基于动态评估的数据探查方法和装置

    公开(公告)号:CN111581431B

    公开(公告)日:2022-05-20

    申请号:CN202010351013.9

    申请日:2020-04-28

    IPC分类号: G06F16/71 G06K9/62

    摘要: 本发明公开了一种基于动态评估的数据探查方法和装置,通过根据数据源的类型和探查维度调用探查引擎对数据源进行数据探查,得到第一探查结果;对第一探查结果进行评估,得到评估结果,根据评估结果对探查流程进行动态调整,获得动态匹配的探查规则,并通过探查规则获得第二探查结果;计算第二探查结果的有效探查项比例,根据有效探查比例判断探查规则的有效性,对第二探查结果进行确认以获得最终探查结果。通过动态调整数据探查的操作路径,实现不同类型数据的自动探查工作,提高数据探查的工作效率,结合不同的数据源和探查结果,智能推荐探查结果,实现所有接入数据源的自动探查工作,高效支撑各种不同数据源的探查,提升大数据智能化接入效率。

    一种用于数据血缘检测方法和系统

    公开(公告)号:CN111563103B

    公开(公告)日:2022-05-20

    申请号:CN202010351018.1

    申请日:2020-04-28

    IPC分类号: G06F16/2455

    摘要: 本申请公开了一种用于数据血缘检测方法和系统。提取同一条存储记录在不同节点所对应的节点数据;利用路径规则库将节点数据映射存储于路径数据集合中,基于路径溯源算法将路径数据集合中的每个子集合进行归一化处理,获得节点数据的的上下级关系的路径标识集合;利用关系规则库将节点数据中的数据项映射存储于数据项集合中,基于关系溯源算法分析数据项之间的关联关系,获得数据项溯源结果集合;基于节点数据的路径标识集合和数据项溯源结果集合构建每条数据在不同节点的数据血缘信息库。该方案通过路径溯源和关系溯源分别从节点数据和数据项两个层面进行分析,实现业务数据或者业务要素的全面快速准确的溯源要求,提升大数据的业务支撑能力。

    基于规则算子动态编排的数据库分析方法、装置及介质

    公开(公告)号:CN110851428B

    公开(公告)日:2022-05-20

    申请号:CN201911137144.0

    申请日:2019-11-19

    IPC分类号: G06F16/21 G06F16/2455

    摘要: 本发明提供了一种基于规则算子动态编排的数据库分析方法、装置及介质,该方法通过从数据库中获取用户输入的数据集合,并对所述数据集合进行识别和解析,判断数据库中是否存在与所述数据集合匹配的业务类型,如果是,则使用数据处理规则推荐算法推荐多个规则算子,如果否,所述用户在数据库中添加多个规则算子,然后对所述多个规则算子的权重进行调整,将调整权重后的规则算子编排为数据分析模型,再使用所述数据分析模型对所述数据集合进行分析得到分析结果。本发明可以通过基于待分析数据库中的数据类型自动编排规则算子生成数据分析模型,提高数据库中的数据分析模型的运行效率,提高了数据库的性能。

    数据恢复方法和装置
    88.
    发明授权

    公开(公告)号:CN110704372B

    公开(公告)日:2022-05-20

    申请号:CN201910926172.4

    申请日:2019-09-27

    IPC分类号: G06F16/11 G06F16/13 G06F11/14

    摘要: 本申请实施例公开了数据恢复方法和装置。该方法的一具体实施方式包括:从目标存储器中的未分配数据区中提取节点头信息集合,以及基于节点头信息集合,确定节点集合;从节点集合中,确定父节点集合、属性节点集合和数据节点集合;对于父节点集合中的每个父节点,从该父节点的目标位置提取父节点标识,并将父节点标识填入该父节点的节点头信息中;基于属性节点集合中的属性节点包括的父节点标识和数据节点集合中的数据节点包括的父节点标识,确定与该父节点对应的属性节点和数据节点;基于各个节点的对应关系,将待恢复数据恢复。该实施方式丰富了数据恢复的方式,有利于在诸如UBIFS文件系统上进行文件数据恢复,提高了数据恢复的灵活性。

    一种RAID5数据恢复方法、装置、系统及存储介质

    公开(公告)号:CN110659160B

    公开(公告)日:2022-05-20

    申请号:CN201910845480.4

    申请日:2019-09-06

    IPC分类号: G06F11/14

    摘要: 本发明提供了一种RAID5数据恢复方法、装置、系统及存储介质,RAID5包括N块物理盘,方法包括:在一个物理盘中检索关键字,得到文件记录的起始位置和记录号;判断其他物理盘的对应位置是否存在关键字;如果存在则当文件记录数量大于或等于N‑1时根据文件记录数量确定RAID5的条带大小,其中N为所述RAID5中物理盘的数量;横向获取RAID5中物理盘中3个条带大小的条带块;根据所有的记录号分配条带块的逻辑号和校验块以确定RAID5中物理盘的类型;基于起始位置和一个物理盘进行排序并设置RAID5中物理盘的类型,恢复RAID5中的数据。根据本发明的方法、装置、系统及存储介质,极大提高RAID5的结构类型检测速度的同时保证了数据判断的准确性,从而明显提升RAID5数据恢复的效果。

    一种用于重合轨迹的分析方法和系统

    公开(公告)号:CN111563137B

    公开(公告)日:2022-05-17

    申请号:CN202010351015.8

    申请日:2020-04-28

    IPC分类号: G06F16/29 G06F16/2455

    摘要: 本发明给出了一种用于重合轨迹的分析方法和系统,包括基于轨迹信息库获取待分析基准轨迹集合,并根据发生时间将待分析基准轨迹集合划分为多个子集合;利用预设的分析间隔阈值将子集合中的轨迹等分,利用随机数作为等分点的半径获取等分点的轨迹相似圈;遍历待分析基准轨迹集合以及轨迹相似圈,利用比对属性和发生时间获取轨迹信息库中与等分点的轨迹相似结果集合,并利用轨迹相似结果集合的交集获得重合轨迹的结果集合Zn。该用于重合轨迹的分析方法和系统基于海量数据场景下,可以自动分析出与特定轨迹重合的未知轨迹,并及时预警,大大降低了人工分析研判的工作,分析效率高。