公开(公告)号：CN117519587A

公开(公告)日：2024-02-06

申请号：CN202311477252.9

申请日：2023-11-07

申请人： 山东海量信息技术研究院 ,  山东师范大学

发明人： 孙建德 ,  李帅男 ,  刘珂 ,  万洪林 ,  刁子涵

IPC分类号： G06F3/06 ,  G06F16/13 ,  G06F16/182

摘要： 本发明公开的一种针对深度学习训练数据的优化存储方法及系统，包括：获取训练用数据集；将训练用数据集中的小文件进行合并，获得合并后文件，将合并后文件上传至HDFS中，在HDFS中对各小文件的元数据进行存储，并生成合并后文件的副本；当对某个小文件进行更新时，计算更新后小文件与未更新小文件的相似性；当相似性大于等于设定阈值时，对该小文件所在的合并后文件进行更新，但不对合并后文件的副本进行更新，当相似性小于设定阈值时，对该小文件所在的合并后文件及其副本均进行更新。副本不更新操作可以减少网络传输的开销和I/O操作，从而提高系统的可用性和稳定性。

公开(公告)号：CN117610628A

公开(公告)日：2024-02-27

申请号：CN202311643701.2

申请日：2023-12-01

申请人： 山东海量信息技术研究院 ,  山东师范大学

发明人： 孙建德 ,  田臣 ,  刘珂 ,  万文博 ,  刁子涵

IPC分类号： G06N3/063 ,  G06F8/41 ,  G06F8/60 ,  G06N5/04 ,  G06F9/455 ,  G06F9/50

摘要： 本发明公开了一种基于云端协同的神经网络模型部署方法及系统，属于边缘计算技术领域。包括：响应于用户的选择，将原始模型和配置的编译参数载入主容器，并匹配对应的子容器；子容器根据编译参数执行编译任务，获取离线神经网络模型并进行评估分析，确定性能评估结果，且将性能评估结果和离线神经网络模型返回至主容器；主容器根据性能评估结果，选择最优边缘设备，并将离线神经网络模型部署至最优边缘设备；最优边缘设备运行离线神经网络模型，以执行推理任务，并将推理结果返回至主容器。能够快速编译生成面向不同硬件平台的离线推理模型，更加高效应用于生产环境；解决多种架构的推理设备下，模型编译效率低的问题。

公开(公告)号：CN117520291A

公开(公告)日：2024-02-06

申请号：CN202311477178.0

申请日：2023-11-07

申请人： 山东海量信息技术研究院 ,  山东师范大学

发明人： 孙建德 ,  李帅男 ,  万洪林 ,  刘珂 ,  刁子涵

IPC分类号： G06F16/182 ,  G06F16/172 ,  G06F16/13

摘要： 本发明公开的一种基于HDFS的医疗文件处理方法及系统，包括：获取待处理的医疗文件；对各医疗文件的大小进行判断；将判定为大文件的医疗文件直接上传至HDFS；对判断为小文件的医疗文件进行分类，将每类医疗文件上传至缓存数据库对应类别的等待队列中；当该等待队列的字节大小到达阈值，或等待时间超过设置时间时，将该等待队列中的文件转入合并队列中进行合并，将合并后文件上传至HDFS，并将合并后文件的元数据保存在缓存数据库。提升对医疗文件处理和分析的效率，减少磁盘IO，节省存储空间。