基于循环动态展开的数据处理方法、系统、设备和介质

    公开(公告)号:CN116992196B

    公开(公告)日:2023-12-12

    申请号:CN202311250053.4

    申请日:2023-09-26

    摘要: 本发明涉及一种基于循环动态展开的数据处理方法、系统、设备和介质,包括以下步骤:对预先建立的目标神经网络模型的参数值进行初始化,并将该目标神经网络模型作为循环体的一个时间步构建目标神经微分方程;采用循环动态展开算法对构建的目标神经微分方程进行求解,得到训练好的目标神经网络;将当前待处理数据作为目标神经网络的输入,并将目标神经网络的输出作为数据处理结果。本发明可以广泛应用于数据处理领域。本发明使用动态展开的方式对目标神经微分方程的循环进行展开,既利用了循环全展开的运行速度优势,又利用了循环不展开的编译速度优势,能够有效提高计算速度。因此,本发明可以广泛应用于数据处理领域。

    一种基于压缩数据直接计算的智能负载处理方法和系统

    公开(公告)号:CN115658307A

    公开(公告)日:2023-01-31

    申请号:CN202211316073.2

    申请日:2022-10-26

    摘要: 本发明涉及一种基于压缩数据直接计算的智能负载处理方法和系统,包括以下步骤:基于给定的定义了原始模型逐层结构的代码文件,判断该原始模型是否满足压缩数据直接计算优化条件,若满足,则进入下一步骤;否则按照常规训练方式展开模型训练;基于LSH聚类算法对输入矩阵进行压缩,并将LSH聚类算法对应的压缩过程参数与原始模型的权重参数联合作为网络参数进行训练,得到结果模型;利用结果模型对输入矩阵进行直接计算,得到数据处理结果。本发明可以广泛应用于大数据处理技术领域。

    基于压缩数据直接计算的数据库方法、系统、设备和介质

    公开(公告)号:CN114780502B

    公开(公告)日:2022-09-16

    申请号:CN202210535252.9

    申请日:2022-05-17

    摘要: 本发明涉及一种基于压缩数据直接计算的数据库方法、系统、设备和介质。方法包括以下步骤:按照存储系统的数据粒度对待压缩的文件进行分块,并对得到的各数据块进行压缩后,存储到存储系统中;采用自底向上的压缩数据处理方法,在不解压的情况下,对存储系统中的压缩数据进行处理操作。本发明在对文件进行压缩时,采用基于语法规则解析的直接对压缩数据进行处理的算法,同时,在存储层直接对压缩数据进行处理,能够减小数据传输的次数以及传输的数量,使对压缩数据的直接处理性能大幅提高。因此,本发明可以广泛应用于数据处理领域。

    大数据中面向异构融合处理器的自适应图划分方法

    公开(公告)号:CN110415162B

    公开(公告)日:2020-03-31

    申请号:CN201910661044.1

    申请日:2019-07-22

    发明人: 张峰 杜小勇

    IPC分类号: G06T1/20 G06F9/50

    摘要: 本发明涉及一种大数据中面向异构融合处理器的自适应图划分方法,其特征在于包括:对通用图负载进行细粒度划分,为不同设备分配不同不规则程度的负载;对动态图负载进行分析,设计自适应图划分,自动识别是否需多设备混合运行;对大规模图负载的多设备处理,使用pipeline方式运行处理数据。本发明基于CPU、GPU集成架构,面向图计算程序构建一个异构、动态环境下能满足高性能要求的自动编程框架系统,针对大图、实时动态图计算新特性,研究出高效的细粒度图划分。

    一种基于FPGA的压缩文本直接处理方法和系统

    公开(公告)号:CN118535320A

    公开(公告)日:2024-08-23

    申请号:CN202410399571.0

    申请日:2024-04-03

    IPC分类号: G06F9/50 G06F16/31

    摘要: 本发明涉及一种基于FPGA的压缩文本直接处理方法和系统,包括以下步骤:读取压缩文本数据以及基于该压缩文本数据的分析应用;对压缩文本数据进行预处理,得到适应于FPGA的DAG数据结构;根据要对压缩文本数据执行的分析应用类型确定预设遍历策略,在FPGA上对DAG数据结构进行遍历,对遍历结果进行汇总统计得到数据处理结果。本发明提出了基于FPGA的压缩文本直接处理技术,针对压缩文本领域提出了FPGA的加速优化方案,提升了压缩文本直接处理技术的效率。本发明可以广泛应用于大数据处理技术领域。

    一种同态压缩数据处理方法和系统

    公开(公告)号:CN117472910B

    公开(公告)日:2024-06-25

    申请号:CN202311576236.5

    申请日:2023-11-23

    摘要: 本发明涉及一种同态压缩数据处理方法和系统,包括以下步骤:对定义的各同态压缩方案进行收集验证后,存储在存储库;在用户输入数据后,根据预设规则在存储库中选择相应的同态压缩方案对输入数据进行数据压缩;在收到用户的数据请求处理后,基于用户指定的压缩数据和选择的同态压缩方案生成直接处理压缩数据的可执行文件,对压缩数据进行直接处理。本发明提出的同态压缩数据管理系统实现了底层压缩算法与上层应用的解耦合,通过同态计算编译器将应用层未压缩数据处理代码转换成适应底层压缩算法的同态操作,降低了系统部署的复杂度和成本,可以广泛应用于大数据处理领域。

    一种同态压缩数据处理方法和系统

    公开(公告)号:CN117472910A

    公开(公告)日:2024-01-30

    申请号:CN202311576236.5

    申请日:2023-11-23

    摘要: 本发明涉及一种同态压缩数据处理方法和系统,包括以下步骤:对定义的各同态压缩方案进行收集验证后,存储在存储库;在用户输入数据后,根据预设规则在存储库中选择相应的同态压缩方案对输入数据进行数据压缩;在收到用户的数据请求处理后,基于用户指定的压缩数据和选择的同态压缩方案生成直接处理压缩数据的可执行文件,对压缩数据进行直接处理。本发明提出的同态压缩数据管理系统实现了底层压缩算法与上层应用的解耦合,通过同态计算编译器将应用层未压缩数据处理代码转换成适应底层压缩算法的同态操作,降低了系统部署的复杂度和成本,可以广泛应用于大数据处理领域。

    基于循环动态展开的数据处理方法、系统、设备和介质

    公开(公告)号:CN116992196A

    公开(公告)日:2023-11-03

    申请号:CN202311250053.4

    申请日:2023-09-26

    摘要: 本发明涉及一种基于循环动态展开的数据处理方法、系统、设备和介质,包括以下步骤:对预先建立的目标神经网络模型的参数值进行初始化,并将该目标神经网络模型作为循环体的一个时间步构建目标神经微分方程;采用循环动态展开算法对构建的目标神经微分方程进行求解,得到训练好的目标神经网络;将当前待处理数据作为目标神经网络的输入,并将目标神经网络的输出作为数据处理结果。本发明可以广泛应用于数据处理领域。本发明使用动态展开的方式对目标神经微分方程的循环进行展开,既利用了循环全展开的运行速度优势,又利用了循环不展开的编译速度优势,能够有效提高计算速度。因此,本发明可以广泛应用于数据处理领域。

    基于压缩数据直接计算的高效并行图处理方法和系统

    公开(公告)号:CN115482147B

    公开(公告)日:2023-04-28

    申请号:CN202211115073.6

    申请日:2022-09-14

    IPC分类号: G06T1/20 G06F16/901 G06T9/00

    摘要: 本发明涉及一种基于压缩数据直接计算的高效并行图处理方法和系统,包括以下步骤:对以邻接表表示的图数据及基于该图数据的应用进行处理,得到基于规则的压缩图数据及基于压缩图数据的应用;基于运行该图数据的应用的计算平台类型,采用CPU压缩图直接处理方法或GPU压缩图直接处理方法,对基于规则的压缩图数据及基于压缩图数据的应用进行计算,得到图处理结果。本发明可以广泛应用于大数据处理技术领域。