一种基于数据驱动的模型训练系统

    公开(公告)号:CN112883654B

    公开(公告)日:2023-01-31

    申请号:CN202110311639.1

    申请日:2021-03-24

    IPC分类号: G06F30/27

    摘要: 本发明涉及一种基于数据驱动的模型训练系统,包括:初始模型构建器,用于从用户终端浏览器获取数据训练集,并根据数据训练集从预设的网络结构模型库中选择对应的网络结构模型;参数提取器,用于根据预设的参数框架从所述网络结构模型中提取预设参数;模型映射器,用于选择目标深度学习框架,将预设参数映射为目标深度学习框架对应的映射数据和映射模型;代码生成器,用于将映射数据和映射模型动态生成可执行的代码;代码执行器,用于运行可执行的代码,并生成运行结果。本发明简化了模型训练流程,提高了模型训练的效率,降低了用于操作难度,使得非专业人员也能够使用。

    一种文件传输方法和装置

    公开(公告)号:CN117155922B

    公开(公告)日:2024-01-30

    申请号:CN202311422824.3

    申请日:2023-10-31

    IPC分类号: H04L67/06 G06F9/50

    摘要: 本公开涉及一种文件传输方法和装置。文件传输方法应用于后端,后端包括可并行执行的多个第一线程,方法包括:获取待传输文件的传输请求;若传输请求是由前端包括的可并行执行的多个第二线程发送的,则确定待传输文件的传输方式为后端从前端下载文件,其中,传输请求包括第一文件块的传输信息,第一文件块是前端对待传输文件进行分块计算得到的;利用第一线程根据预设分块大小和传输信息进行第一文件块的迭代下载,其中,第一文件块是第二线程从前端发送至后端的。本公开提供的方法,利用多线程并行传输,有效提高了计算性能利用率,进而提高了文件传输速度。

    一种基于超级计算机的工作流处理方法

    公开(公告)号:CN112882817A

    公开(公告)日:2021-06-01

    申请号:CN202110311627.9

    申请日:2021-03-24

    IPC分类号: G06F9/48 G06F9/50 G06F9/54

    摘要: 本发明涉及一种基于超级计算机的工作流处理方法,包括:云服务器基于用户终端浏览器接收的指令构建工作流组件,所述工作流组件包括多个按照预设执行顺序排列的模块;所述云服务器将所述工作流组件发送至超级计算机;所述超级计算机根据所述工作流组件对应的预设执行顺序,依次将所述工作流组件中的每一模块的数据转换为超级计算机可执行的指令并执行,并将整个所述工作流组件执行完后得到的执行结果映射至所述云服务器上;所述云服务器将执行结果发送至所述用户终端的浏览器进行显示。本发明直接通过与浏览器交互构建工作流组件,并将工作流组件在超级计算机上运行,提高了交互效率和计算效率,并便于前端与后端的协同,降低了交互成本。

    一种基于超级计算机的全要素模型训练系统

    公开(公告)号:CN112882696B

    公开(公告)日:2024-02-02

    申请号:CN202110311629.8

    申请日:2021-03-24

    摘要: 本发明涉及一种基于超级计算机的全要素模型训练系统,包括流程编辑器,设置于用户终端的浏览器上,用于生成人工智能算法有向无环图;参数提取器和模型映射器设置于云服务器上,云服务器与超级计算机和用户终端通信连接,参数提取器根据预设的参数框架从有向无环图中提取预设参数;模型映射器,选择目标深度学习框架,将所提取的预设参数映射为目标深度学习框架对应的映射数据和映射模型;代码生成器和代码执行器设置于超级计算机上,代码生成器将映射数据和映射模型动态生成可执行的代码;代码执行器运行可执行的代码,并生成运行结果。本发明实现了算法复用和框架迁移,避免多次编程,简化了模型训练过程,提高了模型训练的效率,且容错性好。

    一种文件传输方法和装置
    5.
    发明公开

    公开(公告)号:CN117155922A

    公开(公告)日:2023-12-01

    申请号:CN202311422824.3

    申请日:2023-10-31

    IPC分类号: H04L67/06 G06F9/50

    摘要: 本公开涉及一种文件传输方法和装置。文件传输方法应用于后端,后端包括可并行执行的多个第一线程,方法包括:获取待传输文件的传输请求;若传输请求是由前端包括的可并行执行的多个第二线程发送的,则确定待传输文件的传输方式为后端从前端下载文件,其中,传输请求包括第一文件块的传输信息,第一文件块是前端对待传输文件进行分块计算得到的;利用第一线程根据预设分块大小和传输信息进行第一文件块的迭代下载,其中,第一文件块是第二线程从前端发送至后端的。本公开提供的方法,利用多线程并行传输,有效提高了计算性能利用率,进而提高了文件传输速度。

    一种基于超级计算机的云交互系统

    公开(公告)号:CN112882851B

    公开(公告)日:2022-08-26

    申请号:CN202110311628.3

    申请日:2021-03-24

    IPC分类号: G06F9/54 G06F9/50

    摘要: 本发明涉及一种基于超级计算机的云交互系统,包括一个或多个超级计算机、消息队列转发服务器和云服务器,云服务器通过消息队列转发服务器与超级计算机连接,其中,所述云服务器连接一个或多个用户终端,能够被所述用户终端通过浏览器访问,云服务器接收用户终端通过浏览器输入的可视化指令,并发送给消息队列转发服务器;消息队列转发服务器将可视化指令发送给目标超级计算机;目标超级计算机将所接收的可视化指令转换为自身可执行的命令行指令并执行,然后将执行结果映射至云服务器上;云服务器将执行结果发送至浏览器进行显示。本发明无需输入命令行操作,直接通过浏览器与超级计算机进行交互,提高了交互效率和计算效率,降低了交互成本。

    一种基于超级计算机的工作流处理方法

    公开(公告)号:CN112882817B

    公开(公告)日:2022-08-12

    申请号:CN202110311627.9

    申请日:2021-03-24

    IPC分类号: G06F9/48 G06F9/50 G06F9/54

    摘要: 本发明涉及一种基于超级计算机的工作流处理方法,包括:云服务器基于用户终端浏览器接收的指令构建工作流组件,所述工作流组件包括多个按照预设执行顺序排列的模块;所述云服务器将所述工作流组件发送至超级计算机;所述超级计算机根据所述工作流组件对应的预设执行顺序,依次将所述工作流组件中的每一模块的数据转换为超级计算机可执行的指令并执行,并将整个所述工作流组件执行完后得到的执行结果映射至所述云服务器上;所述云服务器将执行结果发送至所述用户终端的浏览器进行显示。本发明直接通过与浏览器交互构建工作流组件,并将工作流组件在超级计算机上运行,提高了交互效率和计算效率,并便于前端与后端的协同,降低了交互成本。

    一种基于数据驱动的模型训练系统

    公开(公告)号:CN112883654A

    公开(公告)日:2021-06-01

    申请号:CN202110311639.1

    申请日:2021-03-24

    IPC分类号: G06F30/27 G06K9/62

    摘要: 本发明涉及一种基于数据驱动的模型训练系统,包括:初始模型构建器,用于从用户终端浏览器获取数据训练集,并根据数据训练集从预设的网络结构模型库中选择对应的网络结构模型;参数提取器,用于根据预设的参数框架从所述网络结构模型中提取预设参数;模型映射器,用于选择目标深度学习框架,将预设参数映射为目标深度学习框架对应的映射数据和映射模型;代码生成器,用于将映射数据和映射模型动态生成可执行的代码;代码执行器,用于运行可执行的代码,并生成运行结果。本发明简化了模型训练流程,提高了模型训练的效率,降低了用于操作难度,使得非专业人员也能够使用。

    一种基于超级计算机的云交互系统

    公开(公告)号:CN112882851A

    公开(公告)日:2021-06-01

    申请号:CN202110311628.3

    申请日:2021-03-24

    IPC分类号: G06F9/54 G06F9/50

    摘要: 本发明涉及一种基于超级计算机的云交互系统,包括一个或多个超级计算机、消息队列转发服务器和云服务器,云服务器通过消息队列转发服务器与超级计算机连接,其中,所述云服务器连接一个或多个用户终端,能够被所述用户终端通过浏览器访问,云服务器接收用户终端通过浏览器输入的可视化指令,并发送给消息队列转发服务器;消息队列转发服务器将可视化指令发送给目标超级计算机;目标超级计算机将所接收的可视化指令转换为自身可执行的命令行指令并执行,然后将执行结果映射至云服务器上;云服务器将执行结果发送至浏览器进行显示。本发明无需输入命令行操作,直接通过浏览器与超级计算机进行交互,提高了交互效率和计算效率,降低了交互成本。

    一种基于超级计算机的全要素模型训练系统

    公开(公告)号:CN112882696A

    公开(公告)日:2021-06-01

    申请号:CN202110311629.8

    申请日:2021-03-24

    摘要: 本发明涉及一种基于超级计算机的全要素模型训练系统,包括流程编辑器,设置于用户终端的浏览器上,用于生成人工智能算法有向无环图;参数提取器和模型映射器设置于云服务器上,云服务器与超级计算机和用户终端通信连接,参数提取器根据预设的参数框架从有向无环图中提取预设参数;模型映射器,选择目标深度学习框架,将所提取的预设参数映射为目标深度学习框架对应的映射数据和映射模型;代码生成器和代码执行器设置于超级计算机上,代码生成器将映射数据和映射模型动态生成可执行的代码;代码执行器运行可执行的代码,并生成运行结果。本发明实现了算法复用和框架迁移,避免多次编程,简化了模型训练过程,提高了模型训练的效率,且容错性好。