公开(公告)号：CN114997417A

公开(公告)日：2022-09-02

申请号：CN202210620107.0

申请日：2022-06-02

Applicant: 之江实验室

Inventor： 沈筠霏

IPC: G06N20/00

Abstract: 本发明属于计算机操作系统、机器学习建模技术领域，公开了一种函数级作业分布式智能分解方法，通过分析作业源代码，形成基于函数调用关系的有向无环图，结合函数输入输出等特征，预估各函数运行时间后，得出作业最佳分解方案，并在代码中插入修饰符完成分解。分解方案的形成对作业分解领域专家经验没有太多依赖，经该方案分解的作业比未经分解在分布式计算系统中具有更优秀的计算效率，而且分解方法的性能会随着作业分解、运行记录的增多而提升。本发明实现了大型作业的智能分解、自动调度，加快了计算密集型作业的运算速度、提升了分布式系统算力的使用效率。其实现方法灵活可靠、对作业源码侵入极少，以较低的成本达成较高的运算效率。

公开(公告)号：CN116595040A

公开(公告)日：2023-08-15

申请号：CN202310321242.X

申请日：2023-03-29

Applicant: 之江实验室

Inventor： 叶飞 ,  杨智慧 ,  沈筠霏 ,  何震瀛 ,  荆一楠 ,  张凯 ,  王晓阳

IPC: G06F16/2453 ,  G06F16/2455 ,  G06F18/214 ,  G06F18/2415 ,  G06N20/00

Abstract: 一种过载场景下数据分类查询的优化方法和装置，通过改进查询流程来优化流数据过载场景的查询结果。本发明提出了一种在线的训练模式，包含一系列概率过滤器，概率过滤器主要基于查询中包含的语义信息来筛选数据(例如文本数据)，并使用了参数搜索的方式来获取过滤器的最佳配置，同时用函数拟合的方法来控制查询的延迟。本发明着重于处理流数据场景下包含数据分类任务的查询，并致力于解决发生流数据过载场景时的查询优化问题。本发明较于基于离线场景下的查询优化工作，对查询时间不做限制，在尝试在流数据过载的场景下，给定查询的时间限制，对此类查询进行优化，取得了不错的优化效果。

公开(公告)号：CN116108076B

公开(公告)日：2023-07-18

申请号：CN202310374028.0

申请日：2023-04-10

Applicant: 之江实验室

Inventor： 叶飞 ,  杨智慧 ,  沈筠霏 ,  何震瀛 ,  荆一楠 ,  张凯 ,  王晓阳

IPC: G06F16/2457 ,  G06F16/248 ,  G06F16/28

Abstract: 本申请涉及一种物化视图查询方法、系统、设备及存储介质，通过对由多个历史查询的历史最优物化结果合并得到的物化结果集合进行筛选，选取物化结果集合中符合查询条件的最长物化结果组合，对选取的物化结果组合在查询响应时间与查询准确性的维度下对物化结果组合进行评分，并按照分数由高到低的顺序分层输出物化结果组合，通过在不同维度下的评分选取最优的物化结果，以响应查询，使得查询过程无需对全部物化结果进行排序，仅需要对物化结果集合执行一次或几次的前k大分数的求取，使得排序次数与计算时间大大降低，解决了相关技术中物化视图查询速度较低的问题。

公开(公告)号：CN116108076A

公开(公告)日：2023-05-12

申请号：CN202310374028.0

申请日：2023-04-10

Applicant: 之江实验室

Inventor： 叶飞 ,  杨智慧 ,  沈筠霏 ,  何震瀛 ,  荆一楠 ,  张凯 ,  王晓阳

IPC: G06F16/2457 ,  G06F16/248 ,  G06F16/28

Abstract: 本申请涉及一种物化视图查询方法、系统、设备及存储介质，通过对由多个历史查询的历史最优物化结果合并得到的物化结果集合进行筛选，选取物化结果集合中符合查询条件的最长物化结果组合，对选取的物化结果组合在查询响应时间与查询准确性的维度下对物化结果组合进行评分，并按照分数由高到低的顺序分层输出物化结果组合，通过在不同维度下的评分选取最优的物化结果，以响应查询，使得查询过程无需对全部物化结果进行排序，仅需要对物化结果集合执行一次或几次的前k大分数的求取，使得排序次数与计算时间大大降低，解决了相关技术中物化视图查询速度较低的问题。