-
公开(公告)号：CN108255689A
公开(公告)日：2018-07-06
申请号：CN201810026098.6
申请日：2018-01-11
Applicant: 哈尔滨工业大学
IPC: G06F11/34
CPC classification number: G06F11/3476 , G06F11/3419
Abstract: 本发明提出了一种基于历史任务分析的Apache Spark应用自动化调优方法，包括对Spark应用的任务提交接口进行封装，判断是否已有该Spark应用的分层灰盒时间预测模型，访问数据库，读取并更新所述分层灰盒时间预测模型，用户选择是否进行优化；如果进行优化则生成优化参数，如果不进行优化则按原参数执行，调用shell命令运行任务。本发明充分地利用了已知的集群硬件资源信息，选择并实现一了个能够在高维参数空间上对最优参数进行高效搜索方案，从而筛选出在建立的分层灰盒时间预测模型下，性能表现较优的配置参数，达到实现自动化Spark参数调优的目的。
-
Patent Agency Ranking
公开(公告)号：CN116049229B
公开(公告)日：2024-08-02
申请号：CN202211395062.8
申请日：2022-11-08
Applicant: 哈尔滨工业大学
IPC: G06F16/2455 , G06F16/28 , G06F16/215
Abstract: 本发明属于人工智能领域，公开了一种基于核密度估计的局部可解释方法。步骤1、选择要解释的数据实例和训练好的黑盒模型；步骤2、使用核密度估计生成要解释数据周围新的数据；步骤3、使用数据选择方法从步骤2中得到数据集中选择具有代表性的数据，舍弃冗余无用的数据；步骤4、使用数据再平衡方法处理步骤3中得到的数据集，使得其类别平衡；步骤5、使用步骤4得到的数据集训练可解释的决策树模型，并从决策树模型中输出if‑then形式的规则作为解释。用以解决现有技术中在生成要解释实例周围的扰动数据过程中，使用随机生成的数据为基础，没有考虑局部数据一致性的问题。
-
公开(公告)号：CN108255689B
公开(公告)日：2021-02-12
申请号：CN201810026098.6
申请日：2018-01-11
Applicant: 哈尔滨工业大学
IPC: G06F11/34
Abstract: 本发明提出了一种基于历史任务分析的Apache Spark应用自动化调优方法，包括对Spark应用的任务提交接口进行封装，判断是否已有该Spark应用的分层灰盒时间预测模型，访问数据库，读取并更新所述分层灰盒时间预测模型，用户选择是否进行优化；如果进行优化则生成优化参数，如果不进行优化则按原参数执行，调用shell命令运行任务。本发明充分地利用了已知的集群硬件资源信息，选择并实现一了个能够在高维参数空间上对最优参数进行高效搜索方案，从而筛选出在建立的分层灰盒时间预测模型下，性能表现较优的配置参数，达到实现自动化Spark参数调优的目的。
-
公开(公告)号：CN108170832B
公开(公告)日：2021-09-14
申请号：CN201810026313.2
申请日：2018-01-11
Applicant: 哈尔滨工业大学
Abstract: 本发明提出了一种面向工业大数据的异构数据库的监控系统及监控方法，包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信。本发明使用可视化的交互模式结合学习成本较低的数据解析格式，可以让管理者自行快速地接入新的数据源，降低了系统二次开发的次数，提高了线上信息的实用性和稳定性。
-
公开(公告)号：CN108170832A
公开(公告)日：2018-06-15
申请号：CN201810026313.2
申请日：2018-01-11
Applicant: 哈尔滨工业大学
IPC: G06F17/30
Abstract: 本发明提出了一种面向工业大数据的异构数据库的监控系统及监控方法，包括异构数据库系统、中间件服务器和Web监控平台；所述异构数据库系统与所述中间件服务器相互数据通信，所述中间件服务器通过数据库与所述Web监控平台相互数据通信。本发明使用可视化的交互模式结合学习成本较低的数据解析格式，可以让管理者自行快速地接入新的数据源，降低了系统二次开发的次数，提高了线上信息的实用性和稳定性。
-
公开(公告)号：CN116049229A
公开(公告)日：2023-05-02
申请号：CN202211395062.8
申请日：2022-11-08
Applicant: 哈尔滨工业大学
IPC: G06F16/2455 , G06F16/28 , G06F16/215
Abstract: 本发明属于人工智能领域，公开了一种基于核密度估计的局部可解释方法。步骤1、选择要解释的数据实例和训练好的黑盒模型；步骤2、使用核密度估计生成要解释数据周围新的数据；步骤3、使用数据选择方法从步骤2中得到数据集中选择具有代表性的数据，舍弃冗余无用的数据；步骤4、使用数据再平衡方法处理步骤3中得到的数据集，使得其类别平衡；步骤5、使用步骤4得到的数据集训练可解释的决策树模型，并从决策树模型中输出if‑then形式的规则作为解释。用以解决现有技术中在生成要解释实例周围的扰动数据过程中，使用随机生成的数据为基础，没有考虑局部数据一致性的问题。
-
-
-
-
-
Search Results
6
records
(took 0.022 seconds)
