一种数据处理方法及设备

    公开(公告)号:CN110490304B

    公开(公告)日:2023-10-27

    申请号:CN201910775569.8

    申请日:2019-08-21

    发明人: 程大伟 陈远哲

    摘要: 本申请的目的是提供一种数据处理方法及设备,本申请使得在利用注意力机制和时间循环神经网络将获取的多维度、异构的待处理的目标数据中的特征提取出来的同时,忽视目标数据中的噪声与无用部分,筛选出目标数据中的重要信息和非重要信息,使得两种信息在目标数据的特征向量中所占的权重不同,以确保对目标数据进行多维度的分析及特征提取,以得到目标数据的特征向量并作为目标任务对应的任务模型的输入,经过任务模型的处理得到目标任务的执行结果,避免了人工数据处理的过程中出现的信息丢失的问题,节约人力,同时,提高目标数据的特征提取的筛选能力和拟合能力,改善了目标数据的特征提取效果,从而提高了目标任务执行结果的可靠性。

    一种数据处理方法及设备
    2.
    发明公开

    公开(公告)号:CN110490304A

    公开(公告)日:2019-11-22

    申请号:CN201910775569.8

    申请日:2019-08-21

    发明人: 程大伟 陈远哲

    IPC分类号: G06N3/04

    摘要: 本申请的目的是提供一种数据处理方法及设备,本申请使得在利用注意力机制和时间循环神经网络将获取的多维度、异构的待处理的目标数据中的特征提取出来的同时,忽视目标数据中的噪声与无用部分,筛选出目标数据中的重要信息和非重要信息,使得两种信息在目标数据的特征向量中所占的权重不同,以确保对目标数据进行多维度的分析及特征提取,以得到目标数据的特征向量并作为目标任务对应的任务模型的输入,经过任务模型的处理得到目标任务的执行结果,避免了人工数据处理的过程中出现的信息丢失的问题,节约人力,同时,提高目标数据的特征提取的筛选能力和拟合能力,改善了目标数据的特征提取效果,从而提高了目标任务执行结果的可靠性。

    一种数据结构化查询语句的解析方法及设备

    公开(公告)号:CN113312373A

    公开(公告)日:2021-08-27

    申请号:CN202110517879.7

    申请日:2021-05-12

    IPC分类号: G06F16/242

    摘要: 本申请的目的是提供一种数据结构化查询语句的解析方法及设备,本申请通过获取待处理的第一数量的SQL语句;分别对每条SQL语句进行词法分析和词法检查,得到第二数量的SQL语句及其词法表,词法表包括SQL语句的数组结构;分别对每条SQL语句进行语法分析,得到第三数量的SQL语句及其中间内部表示信息;分别基于每条SQL语句的词法表和中间内部表示信息,生成第三数量的SQL语句中的所述SQL语句的抽象语法树;分别执行与抽象语法树对应的SQL语句以进行对应的数据操作,实现了根据不同的SQL语句,解析后的数据以相同数据结构存放,以便对数据库进行对应的数据操作,还降低数据丢失的概率,并且提高了系统的工作效率。

    一种基于大数据的元数据处理方法及设备

    公开(公告)号:CN113312396B

    公开(公告)日:2024-04-19

    申请号:CN202110517886.7

    申请日:2021-05-12

    摘要: 本申请的目的是提供一种基于大数据的元数据处理方法及设备,本申请通过确定用于对不同数据库的表间关系进行评判和确定的训练模型;获取待处理的两个目标元数据,其中,每个所述目标元数据为数据库的表的表结构信息;分别对每个目标元数据依序进行分词处理和词向量训练,得到每个目标元数据对应的目标词向量,并将两个目标元数据对应的词向量输入至训练模型进行关联关系分析得到两个目标元数据之间的关联结果,关联结果包括不存在关联和存在关联,若存在关联,关联结果还包括与所述两个目标元数据对应的目标关联关系,实现了通过对数据库中的表的表结构信息进行分析,以体现数据库的表的表间关系。

    一种基于大数据的元数据处理方法及设备

    公开(公告)号:CN113312396A

    公开(公告)日:2021-08-27

    申请号:CN202110517886.7

    申请日:2021-05-12

    摘要: 本申请的目的是提供一种基于大数据的元数据处理方法及设备,本申请通过确定用于对不同数据库的表间关系进行评判和确定的训练模型;获取待处理的两个目标元数据,其中,每个所述目标元数据为数据库的表的表结构信息;分别对每个目标元数据依序进行分词处理和词向量训练,得到每个目标元数据对应的目标词向量,并将两个目标元数据对应的词向量输入至训练模型进行关联关系分析得到两个目标元数据之间的关联结果,关联结果包括不存在关联和存在关联,若存在关联,关联结果还包括与所述两个目标元数据对应的目标关联关系,实现了通过对数据库中的表的表结构信息进行分析,以体现数据库的表的表间关系。