面向道路监测数据使用申请的网络磁盘数据调度方法

    公开(公告)号:CN117376289A

    公开(公告)日:2024-01-09

    申请号:CN202311317240.X

    申请日:2023-10-11

    IPC分类号: H04L49/90 H04L67/568

    摘要: 面向道路监测数据使用申请的网络磁盘数据调度方法,属于数据调度领域。本发明的目的是为了解决重复的数据在本地磁盘存储器中反复的删除、输入,造成网络I/O性能低的问题。获得每个用户申请的道路动力响应数据在本地磁盘存储器中的覆盖度;对多个用户申请的回复顺序按照覆盖度从大到小进行排序,得到初始回复顺序,将初始回复顺序中覆盖度相同的并列回复顺序进行随机排序,使初始回复顺序形成多组随机回复顺序;计算每组随机回复顺序的网络I/O传输代价,从获得的多个网络I/O传输代价中选取网络I/O传输代价最小值所对应的随机回复顺序,作为最终回复顺序;按照最终回复顺序依次回复相应用户申请。本发明用于实现数据调度的网络I/O传输代价最小。

    基于强化学习的知识图谱实体化视图生成器及生成方法

    公开(公告)号:CN112905806A

    公开(公告)日:2021-06-04

    申请号:CN202110318765.X

    申请日:2021-03-25

    摘要: 基于强化学习的知识图谱实体化视图生成器及生成方法,属于计算机领域。本发明是为了解决现有知识图谱存储方案无法同时满足存储大规模知识图谱数据和高效处理复杂查询工作负载的要求。复杂子查询识别器对知识图谱查询语句中谓语进行识别,若谓语个数大于给定阈值数量,将数据库中含有所述谓语的语句形成语句集合;实体化视图在线生成模型采用Q学习算法判断是否对语句集合生成实体化视图,如果否,在数据库中完成查询语句集合操作,如果是,再次判断所述语句集合生成实体化视图后的存储量是否达到预算值,结果为否时,将语句集合构造成实体化视图;结果为是时,利用Q学习算法从语句集合中挑选出部分语句生成新的实体化视图。它用于提升查询效率。

    一种基于分位数草图的外存分布式并行排序方法

    公开(公告)号:CN118732988A

    公开(公告)日:2024-10-01

    申请号:CN202410745313.3

    申请日:2024-06-11

    IPC分类号: G06F7/36

    摘要: 一种基于分位数草图的外存分布式并行排序方法,它属于计算机技术领域。本发明的目的是为解决现有的外存并行排序算法的可扩展性、适用性差,以及在处理高度偏斜的真实世界数据集时会出现严重的负载失衡的问题。本发明具体为:步骤一、利用p个处理器上的全部本地数据共同组成一组待排序的数据,给待排序的数据选择p‑1个分割点;步骤二、根据选择出的分割点,各个处理器将存储在外存上的每个本地数据分别发送到目标处理器,并接收到来自其它处理器的数据,分别得到每个处理器上的新本地数据;步骤三、每个处理器对自身的新本地数据进行本地排序。本发明方法可以应用于对数据的外存分布式并行排序。

    面向道路监测数据使用申请的网络磁盘数据调度方法

    公开(公告)号:CN117376289B

    公开(公告)日:2024-04-12

    申请号:CN202311317240.X

    申请日:2023-10-11

    IPC分类号: H04L49/90 H04L67/568

    摘要: 面向道路监测数据使用申请的网络磁盘数据调度方法,属于数据调度领域。本发明的目的是为了解决重复的数据在本地磁盘存储器中反复的删除、输入,造成网络I/O性能低的问题。获得每个用户申请的道路动力响应数据在本地磁盘存储器中的覆盖度;对多个用户申请的回复顺序按照覆盖度从大到小进行排序,得到初始回复顺序,将初始回复顺序中覆盖度相同的并列回复顺序进行随机排序,使初始回复顺序形成多组随机回复顺序;计算每组随机回复顺序的网络I/O传输代价,从获得的多个网络I/O传输代价中选取网络I/O传输代价最小值所对应的随机回复顺序,作为最终回复顺序;按照最终回复顺序依次回复相应用户申请。本发明用于实现数据调度的网络I/O传输代价最小。

    一种针对时间序列的异常值修复方法及装置

    公开(公告)号:CN109063145A

    公开(公告)日:2018-12-21

    申请号:CN201810889862.2

    申请日:2018-08-07

    IPC分类号: G06F17/30 G06F17/11 G06F11/07

    CPC分类号: G06F11/0793 G06F17/11

    摘要: 本发明涉及数据处理技术领域,提供了一种针对时间序列的异常值修复方法及装置,该方法依次对时间序列的每个数据点进行修复,包括:基于方差规则的约束确定当前数据点的多个窗口对应的候选项;根据当前数据点的多个窗口对应的候选项求取加权平均值得到当前数据点的修复值。本发明通过采用方差的约束规则,限定了数据的变化范围,并且通过获取窗口对应的候选项,采用加权平均值的方式得到最终的修复值,其置信度更高,可以对来自于各种领域的时间序列进行较好的异常值修复。

    数据分类方法、装置及存储介质

    公开(公告)号:CN108564137A

    公开(公告)日:2018-09-21

    申请号:CN201810413155.6

    申请日:2018-05-03

    IPC分类号: G06K9/62

    摘要: 本发明提供一种数据分类方法、装置及存储介质,以通过集成学习的方式,直接对有缺失值的数据集进行分析,尽可能得到高质量的分析结果。该方法包括:获取不完整数据集中待分类元组的缺失属性集,并根据所述缺失属性集确定所述待分类元组在MAT结构中的目标节点,其中,所述MAT结构的每一节点表示缺失某一属性集合的数据样本集合;将所述目标节点以及所述目标节点以下且属于所述目标节点所在支路的每一节点分别作为一个完整视图,并基于每一所述完整视图分别训练一基本分类器;通过对得到的每一所述基本分类器进行排序组合,得到目标分类器;利用所述目标分类器对所述待分类元组进行数据分类。

    道路监测数据有荷动力响应实时识别方法

    公开(公告)号:CN116861292B

    公开(公告)日:2024-07-09

    申请号:CN202310838650.2

    申请日:2023-07-10

    摘要: 道路监测数据有荷动力响应实时识别方法,属于道路类领域,目前的有荷动力响应识别方法,识别精度低,实时性差,在预设时间段内从历史数据库内连续获取道路内部埋设的各光纤光栅传感器输出的波长数据;对波长数据进行预处理得到时序数据;对时序数据预处理得到特征向量;将同一数据向量所对应的特征向量和标签值分别作为有荷动力响应识别器的输入和输出,对有荷动力响应识别器进行训练;连续获取实时监测得到的待识别的光纤光栅传感器输出的波长数据,对波长数据进行预处理得到时序数据,对时序数据预处理得到特征向量,并通过训练完成的有荷动力响应识别器对该特征向量进行识别获得标签值。本申请用于识别有荷动力响应。

    一种基于LSTM网络的数据预测模型调优方法及装置

    公开(公告)号:CN108764568B

    公开(公告)日:2020-10-23

    申请号:CN201810520868.2

    申请日:2018-05-28

    IPC分类号: G06Q10/04

    摘要: 本发明涉及一种基于LSTM网络的数据预测模型调优方法,包括预处理:获取所述待预测变量前N小的周期值;提取相关系数之和大于系数阈值的前数个变量在数据集中的数据组成训练集;模型训练:按照周期值从小到大的顺序,共进行N轮训练,求得优化解模型;每轮训练均包括:将所述训练集由时间序列数据转化为监督学习序列;将监督学习序列输入LSTM网络,得到本轮训练模型;利用本轮训练模型得到均方根误差并与上轮训练的均方根误差进行比较,保留其中较小值对应的训练模型为优化解模型。本发明还涉及一种基于LSTM网络的数据预测模型调优装置。本发明提供的调优方法及装置在LSTM网络的基础上优化,可用于数据预测,计算速度快,且预测效果好。

    关系模式的自动转换方法、装置及存储介质

    公开(公告)号:CN108776673B

    公开(公告)日:2020-08-18

    申请号:CN201810498633.8

    申请日:2018-05-23

    IPC分类号: G06F16/25 G06F16/28

    摘要: 本发明公开了一种关系模式的自动转换方法、装置及存储介质,能够在关系模式转换过程中完成空值补全,提高数据质量。所述方法包括:基于预设的属性距离计算方法,确定源关系模式的每个属性与目标关系模式的每个属性之间的相似度,构建第一属性相似度矩阵;基于属性距离计算方法,为源关系模式包括的每个属性构建预测模型,预测模型用于通过与该属性关系密切的其他属性的值来预测该属性的值;扫描源关系模式对应的数据表中的缺失值;根据缺失值对应属性的预测模型,预测缺失值的取值,并通过预测的取值补全数据表;根据第一属性相似度矩阵,将源关系模式补全后的数据映射到目标关系模式。

    一种基于特征采样的时间序列分类方法及装置

    公开(公告)号:CN108573059A

    公开(公告)日:2018-09-25

    申请号:CN201810384213.7

    申请日:2018-04-26

    IPC分类号: G06F17/30

    摘要: 本发明涉及数据处理技术领域,提供了一种基于特征采样的时间序列分类方法及装置,该方法包括:通过特征采样方法将训练用的时间序列数据集转化为具有等长特征的训练数据集,并将测试用的时间序列数据集转化为具有等长特征的测试数据集;采用集成学习分类方法,利用所述具有等长特征的训练数据集进行模型训练;使用训练后的模型对所述具有等长特征的测试数据集进行时间序列分类。本发明先通过特征采样方法将不同长度的时间序列数据集转化为具有等长特征的数据集,再采用集成学习分类方法进行分类,提高时间序列分类的准确率,能够对于大规模的时间序列数据进行准确的分类。