一种数据处理方法、产品、服务器及介质

    公开(公告)号:CN118409871B

    公开(公告)日:2024-09-17

    申请号:CN202410874865.4

    申请日:2024-07-02

    IPC分类号: G06F9/50

    摘要: 本发明公开了一种数据处理方法、产品、服务器及介质,涉及服务器技术领域。该方法中,由于提前将目标内存的空间划分至各图形处理器,因此,在根据各图形处理器上处理子任务所需的额外内存空间和可用目标内存空间之间的关系确定出图形处理器待占用的目标内存的情况下,即可让各图形处理器占用提前为其分配好的可用目标内存空间,使得各图形处理器上的任务不会抢占内存和带宽,实现了内存和带宽高效利用;通过计算不同图形处理器上不同任务额外需要的内存大小来自动分配不同类型内存的占用,使得不同的任务根据自身的特点占用不同的内存;由于子任务与图形处理器一一对应,使得能够充分利用图形处理器的资源。

    硬件加速器设备管理方法、装置及电子设备和存储介质

    公开(公告)号:CN113674131B

    公开(公告)日:2024-09-13

    申请号:CN202110825190.0

    申请日:2021-07-21

    IPC分类号: G06T1/20 G06F9/50

    摘要: 本申请公开了一种硬件加速器设备管理方法、装置及一种电子设备和计算机可读存储介质,该方法包括:在云平台中创建资源池,并将所述云平台中的硬件加速器设备分配至对应的资源池中;获取所述云平台中硬件加速器设备的基本信息、状态信息和资源池化信息;其中,所述状态信息包括可使用状态、正在使用状态和维护状态,所述资源池化信息用于表示所述硬件加速器设备所属的资源池;将所述硬件加速器设备的基本信息、状态信息和资源池化信息存储至数据库中并上报至资源管理器;通过所述资源管理器显示所述硬件加速器设备的基本信息、状态信息和资源池化信息。本申请提供的硬件加速器设备管理方法,提高了加速器设备的灵活性、可维护性和可操作性。

    异构计算系统的内存调度方法、异构计算系统和装置

    公开(公告)号:CN118260053B

    公开(公告)日:2024-08-27

    申请号:CN202410676344.8

    申请日:2024-05-29

    摘要: 本发明公开了一种异构计算系统的内存调度方法、异构计算系统和装置,涉及计算机技术领域。基于多个异构算力设备的内存之间互访的索引信息、互访时长和当前风险训练子任务的扩展内存,对在多个异构算力设备中确定的当前空闲异构算力设备的内存进行调度处理,以此确定风险训练子任务的扩展内存对应的内存调度,使得具有内存溢出的风险训练子任务的扩展内存可以调度空闲异构算力设备对应的内存资源,提高异构算力设备的内存资源的合理利用,避免风险训练子任务的内存溢出报错和空闲异构算力设备的空闲内存资源浪费。

    基于深度学习的面部视频抑郁检测系统、设备及介质

    公开(公告)号:CN118411744A

    公开(公告)日:2024-07-30

    申请号:CN202410408855.1

    申请日:2024-04-07

    摘要: 本发明公开了基于深度学习的面部视频抑郁检测系统、设备及介质,所述系统用于获取面部视频数据以及抑郁检测标签;对面部视频数据进行预处理,得到动态图像,基于动态图像和所述抑郁检测标签,构建数据集;将数据集划分为训练集和测试集;将训练集输入到抑郁检测模型中,对模型进行训练,得到训练后的抑郁检测模型;将测试集输入到训练后的抑郁检测模型,当测试指标准确率高于设定阈值时,表示当前训练后的抑郁检测模型为最终训练后的抑郁检测模型;获取待检测面部视频数据,将待检测面部视频数据进行预处理,得到待检测动态图像;将待检测动态图像输入到最终训练后的抑郁检测模型,得到抑郁检测结果。

    分布式训练系统、方法及设备、介质和计算机程序产品

    公开(公告)号:CN118396048A

    公开(公告)日:2024-07-26

    申请号:CN202410853489.0

    申请日:2024-06-28

    摘要: 本发明公开了一种分布式训练系统、方法及设备、介质和计算机程序产品,涉及计算机技术领域,该系统包括I个第一计算节点和J个第二计算节点,第一计算节点包括本地内存,第二计算节点包括本地内存和通过计算快速链路内存扩展器扩展出的扩展内存,I个第一计算节点环形连接,J个第二计算节点环形连接,第一计算节点与连接的第二计算节点采用模型并行的方式训练卷积神经网络,I个第一计算节点采用数据并行方式训练卷积神经网络中的卷积层,J个第二计算节点采用数据并行方式训练卷积神经网络中的全连接层。本发明优化了卷积神经网络的训练效率和效果。

    一种数据迁移方法、装置及电子设备和存储介质

    公开(公告)号:CN117806776B

    公开(公告)日:2024-05-10

    申请号:CN202410224921.X

    申请日:2024-02-29

    IPC分类号: G06F9/455

    摘要: 本申请公开了一种数据迁移方法、装置及电子设备和存储介质,涉及计算机技术领域,该方法包括:确定虚拟机需要迁移的内存数据;确定所述内存数据的迁移成本,并判断所述迁移成本是否大于预设值;若是,则将所述虚拟机的当前内存节点的地址映射至目标宿主机;若否,则将所述内存数据从所述当前内存节点迁移至所述目标宿主机对应的目标内存节点。本申请提供的数据迁移方法,计算需要迁移的内存数据的迁移成本,当迁移成本大于预设值时,说明直接迁移该内存数据容易产生内存空间碎片、对内存资源运行效率的影响较大,此时通过内存节点的地址映射将当前内存节点映射至目标宿主机,避免直接迁移内存数据对内存资源运行效率。

    一种数据迁移方法、装置及电子设备和存储介质

    公开(公告)号:CN117806776A

    公开(公告)日:2024-04-02

    申请号:CN202410224921.X

    申请日:2024-02-29

    IPC分类号: G06F9/455

    摘要: 本申请公开了一种数据迁移方法、装置及电子设备和存储介质,涉及计算机技术领域,该方法包括:确定虚拟机需要迁移的内存数据;确定所述内存数据的迁移成本,并判断所述迁移成本是否大于预设值;若是,则将所述虚拟机的当前内存节点的地址映射至目标宿主机;若否,则将所述内存数据从所述当前内存节点迁移至所述目标宿主机对应的目标内存节点。本申请提供的数据迁移方法,计算需要迁移的内存数据的迁移成本,当迁移成本大于预设值时,说明直接迁移该内存数据容易产生内存空间碎片、对内存资源运行效率的影响较大,此时通过内存节点的地址映射将当前内存节点映射至目标宿主机,避免直接迁移内存数据对内存资源运行效率。

    一种针对深度学习训练数据的优化存储方法及系统

    公开(公告)号:CN117519587A

    公开(公告)日:2024-02-06

    申请号:CN202311477252.9

    申请日:2023-11-07

    IPC分类号: G06F3/06 G06F16/13 G06F16/182

    摘要: 本发明公开的一种针对深度学习训练数据的优化存储方法及系统,包括:获取训练用数据集;将训练用数据集中的小文件进行合并,获得合并后文件,将合并后文件上传至HDFS中,在HDFS中对各小文件的元数据进行存储,并生成合并后文件的副本;当对某个小文件进行更新时,计算更新后小文件与未更新小文件的相似性;当相似性大于等于设定阈值时,对该小文件所在的合并后文件进行更新,但不对合并后文件的副本进行更新,当相似性小于设定阈值时,对该小文件所在的合并后文件及其副本均进行更新。副本不更新操作可以减少网络传输的开销和I/O操作,从而提高系统的可用性和稳定性。

    通信信道建立方法、装置、设备及介质

    公开(公告)号:CN116846682A

    公开(公告)日:2023-10-03

    申请号:CN202311096490.5

    申请日:2023-08-29

    发明人: 麻付强

    摘要: 本申请公开了通信信道建立方法、装置、设备及介质,应用于通信领域,包括:向反向代理服务器发送针对业务服务器的访问请求;获取所述反向代理服务器返回的自签名证书;所述自签名证书包括所述业务服务器的一级证书和/或所述反向代理服务器的二级证书;对所述自签名证书进行验证,该验证过程包括验证所述自签名证书是否在可信执行环境中生成;若所述自签名证书通过验证,则与所述反向代理服务器建立https连接,形成客户端与所述反向代理服务器之间的目标通信信道。能够解决对可信CA机构的依赖问题,并且能够避免中间人攻击,从而提升通信的安全性。