-
公开(公告)号:CN117370288A
公开(公告)日:2024-01-09
申请号:CN202311223122.2
申请日:2023-09-21
IPC分类号: G06F16/174 , G06F16/13 , G06F16/22 , G06F16/23 , G06F16/2455 , G06F9/50
摘要: 本发明涉及一种基于热点预测的Hudi异步压缩的方法和系统,包括:步骤一:将原始数据入湖和更新操作后的数据入湖;步骤二:数据入湖后,获取数据集;步骤三:基于获取的时间戳和数据操作的次数,采用训练好的LSTM模型预测热点时间段和非热点时间段;步骤四:基于训练好的LSTM模型输出的预测热点时间段和非热点时间段,执行数据异步压缩。本发明兼顾提升查询效率和获得较新的数据。解决了MOR表默认同步压缩会造成计算资源浪费的问题,以实现计算资源负载均衡,提高了资源利用率。
-
公开(公告)号:CN117114932A
公开(公告)日:2023-11-24
申请号:CN202311009670.5
申请日:2023-08-11
IPC分类号: G06Q50/20 , G06Q10/0639 , G06V20/40 , G06V20/52
摘要: 本发明涉及一种基于算力网络的教学行为分析系统及方法,包括:算网云平台层、通信网络层、边缘层以及供用户交互的Web端。算网云平台层用于:数据标注;目标检测模型的训练;存储数据集、镜像、目标检测模型文件以及数据在各个存储节点流转。通信网络层用于:算网云平台层与边缘层进行数据、信息交互;边缘层用于:对实时视频流进行推理;供用户交互的Web端用于:为用户提供上传数据、选择模型训练方式、查看模型训练结果以及教学行为分析报告的服务。本发明对一门课程进行长期评估,在学期末给出一份综合的课程专注度分析报告,对教师调整教学大纲有很大的帮助,同时也让学校对教师的教学评估更加客观。
-
公开(公告)号:CN117633232A
公开(公告)日:2024-03-01
申请号:CN202311661689.8
申请日:2023-12-06
IPC分类号: G06F16/35 , G06N3/0442
摘要: 本发明涉及一种基于热点预测的Hudi异步数据聚类的方法和系统;包括:SQL查询语句解析,包括收集SQL语句、分词处理、建立词汇表、建立嵌入层;基于获取并解析后的SQL语句,采用训练好的基于在线学习算法的LSTM模型预测查询热点字段和查询热点表;获取训练好的基于在线学习算法的LSTM模型预测的查询热点字段和查询热点表,多次自动化进行异步数据聚类分析。本发明可以一定程度地避免异步聚类时产生的数据不一致问题,使得分区中的数据文件有较高的新鲜度;另外,通过优化热点数据布局,大大提高了以Hudi作为Presto引擎数据源时的查询效率。
-
公开(公告)号:CN117557093A
公开(公告)日:2024-02-13
申请号:CN202311468817.7
申请日:2023-11-07
IPC分类号: G06Q10/0635 , G06Q10/04 , G06F16/906 , G06F16/9535 , G06F16/9537 , G06F18/213 , G06F18/2415 , G06N3/047 , G06N3/048 , G06N3/084 , G06Q50/20 , H04L67/02
摘要: 本发明涉及一种基于在线学习平台的早期学业风险预警方法及系统,是指:将在线学习平台产生的学生原始数据集依次经过数据处理、特征选择、学业风险预测、学业预警,与在线学习平台进行集成,对其中有学业风险的学生发送预警信息进行提醒;特征选择,包括:接收学生数据集,经过基于支持向量机的遗传算法处理后,输出最优子集学生数据集;学业风险预测,包括:接收最优子集学生数据集,传入混合神经网络模型即H2AL模型中进行训练,得到训练好的H2AL模型;本发明能够进行自动特征提取,更好地反映数据的内在结构,能够有效地处理大量特征,从中提取出最相关的信息,有助于减少模型对噪声和不必要特征的过度拟合,从而提高模型的泛化能力。
-
公开(公告)号:CN117496434A
公开(公告)日:2024-02-02
申请号:CN202311478776.X
申请日:2023-11-08
IPC分类号: G06V20/52 , G06V40/20 , G06V10/44 , G06V10/25 , G06V10/80 , G06V10/26 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/082
摘要: 本发明涉及一种基于改进YOLOv5算法的学生行为检测方法及系统,包括:获取待检测的教室的图片并进行预处理;将预处理后的图片输入训练好的改进的YOLOv5网络模型中进行学生行为检测,得到学生行为检测结果;改进的YOLOv5包括骨干网络bockbone、neck层和Head层,骨干网络bockbone包括Conv模块、C3模块、SACA模块以及BasciRFB模块。本发明将SPP模块替换为BasicRFB模块,同时搭建SACA模块,先经过SACA模块获取通道相关性权重特征以及空间信息权重特征,可以更好的获取有效特征信息,再经过BasicRFB模块进行特征提取,可以对目标模型特征达到更好的识别效果。
-
公开(公告)号:CN117112648A
公开(公告)日:2023-11-24
申请号:CN202311070405.8
申请日:2023-08-24
IPC分类号: G06F16/2458 , G06F16/215 , G06F18/214 , G06F18/24 , G06F18/23213 , G06Q50/20
摘要: 本发明涉及一种基于智慧教育数据的高校学生学习画像生成系统及方法,属于数据挖掘领域,包括数据抽取模块、数据处理模块、标签模块、数据库模块、画像生成模块;通过针对学生在教育大数据应用中的现实需要,聚焦于学生学习行为,针对多任务学习场景,分析学生学习特征,构造客观的学生画像标签体系,设计学生画像标签体系技术架构,对学生群体进行深度刻画,构建学生学习画像,以此形成的学生画像来反映学生表现特征,提供个性化教学,降低大量数据给师生带来的认知负荷,为学生教育管理者提供相应的决策支持。
-
公开(公告)号:CN116860995A
公开(公告)日:2023-10-10
申请号:CN202310816845.7
申请日:2023-07-05
摘要: 本发明涉及一种应用于多元编程习题的深度知识追踪方法及系统,包括:接收编程平台系统的用户做题数据和编译日志数据,进行数据预处理;对错误信息进行日志模式聚类;构建题型特征矩阵;基于时间间隔和学习能力的位置编码;对答题交互序列进行one‑hot编码转化,得到答题交互嵌入向量;将答题交互嵌入向量输入至训练好的深度知识追踪模型中实现深度知识追踪。本发明通过对数据处理、建立知识库和模型改进,使模型可以适用于多元题型,更加符合实际场景的应用,尤其是通过建立编译结果知识库,实现了知识追踪在编程平台领域的针对多种不同习题题型的应用。
-
公开(公告)号:CN112148224A
公开(公告)日:2020-12-29
申请号:CN202011009002.9
申请日:2020-09-23
申请人: 山东省计算中心(国家超级计算济南中心)
摘要: 本发明公开了一种提升申威平台的虚拟化存储性能的方法及系统,包括:在申威平台的宿主机上形成磁盘阵列;在磁盘阵列上构建新的存储卷;基于新的存储卷构建文件系统;在构建的文件系统上创建虚拟机;宿主机通过虚拟机实现与客户机的读写操作。利用LVM cache结合RAID0技术,在申威平台上构建文件系统,并使用KVM虚拟化技术创建虚拟机,提升申威平台上虚拟化存储IO的读写性能。
-
公开(公告)号:CN112148224B
公开(公告)日:2023-01-31
申请号:CN202011009002.9
申请日:2020-09-23
申请人: 山东省计算中心(国家超级计算济南中心)
摘要: 本发明公开了一种提升虚拟化存储性能的方法及系统,包括:在宿主机上形成磁盘阵列;在磁盘阵列上构建新的存储卷;基于新的存储卷构建文件系统;在构建的文件系统上创建虚拟机;宿主机通过虚拟机实现与客户机的读写操作。利用LVM cache结合RAID0技术,构建文件系统,并使用KVM虚拟化技术创建虚拟机,提升虚拟化存储IO的读写性能。
-
公开(公告)号:CN112165435A
公开(公告)日:2021-01-01
申请号:CN202011052886.6
申请日:2020-09-29
申请人: 山东省计算中心(国家超级计算济南中心)
IPC分类号: H04L12/825 , H04L12/851 , H04L12/869 , H04L12/873 , H04L12/927 , G06F9/455
摘要: 本发明公开了一种基于虚拟机网络服务质量的双向流量控制方法及系统,所述方法包括以下步骤:创建虚拟机,分别在出口方向和入口方向创建虚拟网络设备;分别为出口和入口方向的虚拟网络设备配置队列,并分别添加出口流量控制规则和入口流量控制规则;基于入口流量控制规则对来自其他设备的数据进行流量控制;基于出口流量控制规则对待发送至其他设备的数据进行流量控制。本发明通过为每个虚拟机创建一对虚拟网络设备,并分别设置入口和出口方向的流量控制规则,实现了对虚拟化网卡的双向流量控制。
-
-
-
-
-
-
-
-
-