-
公开(公告)号:CN116861292B
公开(公告)日:2024-07-09
申请号:CN202310838650.2
申请日:2023-07-10
Applicant: 哈尔滨工业大学
IPC: G06F18/24 , G06F18/214 , G06F18/213
Abstract: 道路监测数据有荷动力响应实时识别方法,属于道路类领域,目前的有荷动力响应识别方法,识别精度低,实时性差,在预设时间段内从历史数据库内连续获取道路内部埋设的各光纤光栅传感器输出的波长数据;对波长数据进行预处理得到时序数据;对时序数据预处理得到特征向量;将同一数据向量所对应的特征向量和标签值分别作为有荷动力响应识别器的输入和输出,对有荷动力响应识别器进行训练;连续获取实时监测得到的待识别的光纤光栅传感器输出的波长数据,对波长数据进行预处理得到时序数据,对时序数据预处理得到特征向量,并通过训练完成的有荷动力响应识别器对该特征向量进行识别获得标签值。本申请用于识别有荷动力响应。
-
公开(公告)号:CN116861292A
公开(公告)日:2023-10-10
申请号:CN202310838650.2
申请日:2023-07-10
Applicant: 哈尔滨工业大学
IPC: G06F18/24 , G06F18/214 , G06F18/213
Abstract: 道路监测数据有荷动力响应实时识别方法,属于道路类领域,目前的有荷动力响应识别方法,识别精度低,实时性差,在预设时间段内从历史数据库内连续获取道路内部埋设的各光纤光栅传感器输出的波长数据;对波长数据进行预处理得到时序数据;对时序数据预处理得到特征向量;将同一数据向量所对应的特征向量和标签值分别作为有荷动力响应识别器的输入和输出,对有荷动力响应识别器进行训练;连续获取实时监测得到的待识别的光纤光栅传感器输出的波长数据,对波长数据进行预处理得到时序数据,对时序数据预处理得到特征向量,并通过训练完成的有荷动力响应识别器对该特征向量进行识别获得标签值。本申请用于识别有荷动力响应。
-
公开(公告)号:CN117633211A
公开(公告)日:2024-03-01
申请号:CN202311583866.5
申请日:2023-11-24
Applicant: 哈尔滨工业大学
Abstract: 一种基于自适应数据摘要的序列匹配方法,它属于时间序列数据匹配技术领域。本发明解决了采用现有方法计算出的摘要有效性差以及难以应用于序列匹配的问题。本发明方法为:步骤一、读取时间序列数据集,初始化分段方案和根节点;步骤二、将时间序列插入到叶子节点;步骤三、根据初始分段方案和插入叶子节点的时间序列数据生成新的分段方案;步骤四、根据新方案的分段结果生成叶子节点对应的时间序列的摘要并离散化;步骤五、判断是否存在插入时间序列数量超过阈值的叶子节点,若存在,则执行步骤六、若不存在,则执行步骤七;步骤六、对叶子节点进行分裂;步骤七、从索引二叉树根节点进行递归搜索,完成序列匹配。本发明可以应用于时间序列匹配。
-
公开(公告)号:CN117009419A
公开(公告)日:2023-11-07
申请号:CN202311066879.5
申请日:2023-08-23
Applicant: 哈尔滨工业大学
IPC: G06F16/2458
Abstract: 本申请具体涉及一种基于DTW距离的时序数据全长度频繁模式挖掘方法、设备及存储介质,涉及数据挖掘技术领域。本发明的目的是解决现有基于动态时间规整的算法中存在难以同时满足不同长度的频繁模式的算法挖掘过程中的有效和高效的要求的问题,提供了一种时序数据全长度频繁模式挖掘方法、设备及存储介质,可以对室外温度的时序数据计算不同长度的频繁模式,通过重新利用之前获得的下界结果,可以极大的减少计算成本与时间,并在程序结束后传递回精确解,极大的提高发掘全长度频繁模式的效率,当算法运行完成后,就可以获取所有长度的最优频繁模式;解决了同时满足不同长度的频繁模式的算法挖掘过程中的有效性和高效性要求的问题。
-
公开(公告)号:CN117376289A
公开(公告)日:2024-01-09
申请号:CN202311317240.X
申请日:2023-10-11
Applicant: 哈尔滨工业大学
IPC: H04L49/90 , H04L67/568
Abstract: 面向道路监测数据使用申请的网络磁盘数据调度方法,属于数据调度领域。本发明的目的是为了解决重复的数据在本地磁盘存储器中反复的删除、输入,造成网络I/O性能低的问题。获得每个用户申请的道路动力响应数据在本地磁盘存储器中的覆盖度;对多个用户申请的回复顺序按照覆盖度从大到小进行排序,得到初始回复顺序,将初始回复顺序中覆盖度相同的并列回复顺序进行随机排序,使初始回复顺序形成多组随机回复顺序;计算每组随机回复顺序的网络I/O传输代价,从获得的多个网络I/O传输代价中选取网络I/O传输代价最小值所对应的随机回复顺序,作为最终回复顺序;按照最终回复顺序依次回复相应用户申请。本发明用于实现数据调度的网络I/O传输代价最小。
-
公开(公告)号:CN108255689A
公开(公告)日:2018-07-06
申请号:CN201810026098.6
申请日:2018-01-11
Applicant: 哈尔滨工业大学
IPC: G06F11/34
CPC classification number: G06F11/3476 , G06F11/3419
Abstract: 本发明提出了一种基于历史任务分析的Apache Spark应用自动化调优方法,包括对Spark应用的任务提交接口进行封装,判断是否已有该Spark应用的分层灰盒时间预测模型,访问数据库,读取并更新所述分层灰盒时间预测模型,用户选择是否进行优化;如果进行优化则生成优化参数,如果不进行优化则按原参数执行,调用shell命令运行任务。本发明充分地利用了已知的集群硬件资源信息,选择并实现一了个能够在高维参数空间上对最优参数进行高效搜索方案,从而筛选出在建立的分层灰盒时间预测模型下,性能表现较优的配置参数,达到实现自动化Spark参数调优的目的。
-
公开(公告)号:CN118732988A
公开(公告)日:2024-10-01
申请号:CN202410745313.3
申请日:2024-06-11
Applicant: 哈尔滨工业大学
IPC: G06F7/36
Abstract: 一种基于分位数草图的外存分布式并行排序方法,它属于计算机技术领域。本发明的目的是为解决现有的外存并行排序算法的可扩展性、适用性差,以及在处理高度偏斜的真实世界数据集时会出现严重的负载失衡的问题。本发明具体为:步骤一、利用p个处理器上的全部本地数据共同组成一组待排序的数据,给待排序的数据选择p‑1个分割点;步骤二、根据选择出的分割点,各个处理器将存储在外存上的每个本地数据分别发送到目标处理器,并接收到来自其它处理器的数据,分别得到每个处理器上的新本地数据;步骤三、每个处理器对自身的新本地数据进行本地排序。本发明方法可以应用于对数据的外存分布式并行排序。
-
公开(公告)号:CN117376289B
公开(公告)日:2024-04-12
申请号:CN202311317240.X
申请日:2023-10-11
Applicant: 哈尔滨工业大学
IPC: H04L49/90 , H04L67/568
Abstract: 面向道路监测数据使用申请的网络磁盘数据调度方法,属于数据调度领域。本发明的目的是为了解决重复的数据在本地磁盘存储器中反复的删除、输入,造成网络I/O性能低的问题。获得每个用户申请的道路动力响应数据在本地磁盘存储器中的覆盖度;对多个用户申请的回复顺序按照覆盖度从大到小进行排序,得到初始回复顺序,将初始回复顺序中覆盖度相同的并列回复顺序进行随机排序,使初始回复顺序形成多组随机回复顺序;计算每组随机回复顺序的网络I/O传输代价,从获得的多个网络I/O传输代价中选取网络I/O传输代价最小值所对应的随机回复顺序,作为最终回复顺序;按照最终回复顺序依次回复相应用户申请。本发明用于实现数据调度的网络I/O传输代价最小。
-
公开(公告)号:CN108255689B
公开(公告)日:2021-02-12
申请号:CN201810026098.6
申请日:2018-01-11
Applicant: 哈尔滨工业大学
IPC: G06F11/34
Abstract: 本发明提出了一种基于历史任务分析的Apache Spark应用自动化调优方法,包括对Spark应用的任务提交接口进行封装,判断是否已有该Spark应用的分层灰盒时间预测模型,访问数据库,读取并更新所述分层灰盒时间预测模型,用户选择是否进行优化;如果进行优化则生成优化参数,如果不进行优化则按原参数执行,调用shell命令运行任务。本发明充分地利用了已知的集群硬件资源信息,选择并实现一了个能够在高维参数空间上对最优参数进行高效搜索方案,从而筛选出在建立的分层灰盒时间预测模型下,性能表现较优的配置参数,达到实现自动化Spark参数调优的目的。
-
-
-
-
-
-
-
-