公开(公告)号：CN119512832A

公开(公告)日：2025-02-25

申请号：CN202411361269.2

申请日：2024-09-27

Applicant: 北京大学

Inventor： 曾炜 ,  郑歆慰 ,  张洪明 ,  陈建平

IPC: G06F11/22 ,  G06F11/26 ,  G06N3/04 ,  G06F8/30

Abstract: 本发明公开一种硬件测试方法、系统、设备和存储介质，所述方法包括：根据待测试的模型或算法生成对应的计算图的子图序列；所述计算图用于表征模型或算法的数据结构；所述计算图由若干节点和边组成，所述节点表征模型或算法的计算步骤，所述边表征计算步骤之间的逻辑关系；基于子图序列之间的调用顺序确定出子图执行序列和执行位置；按照所述子图执行序列，将子图输入硬件对应的执行位置进行计算，得到硬件性能指标。通过自动化地从模型或算法生成计算图的子图序列，并确定执行序列和位置，不仅提高了硬件性能测试的效率和准确性，还使得测试结果更加可靠，有助于全面评估和优化硬件资源的使用。

公开(公告)号：CN117407299B

公开(公告)日：2024-05-07

申请号：CN202311350449.6

申请日：2023-10-18

Applicant: 北京大学

Inventor： 袁孝宇 ,  陈建平 ,  曾炜 ,  张洪明

IPC: G06F11/36

Abstract: 本申请涉及人工智能技术领域，具体提供一种模型测试方法，旨在解决面对不同测试需求时会有大量繁杂重复的工作，测试效率低下的问题。为此目的，本申请的模型测试方法应用于服务端，包括：接收客户端发送的待测模型文件、测试数据信息、待测模型的硬件设备参数和测试参数；基于待测模型文件、硬件设备参数和测试参数，生成待测模型；基于测试数据信息，对待测模型进行测试，得到测试结果；向客户端发送测试结果。通过上述方法，能够将测试用户与支持模型运行的硬件完全隔离，并能自动生成测试所需的代码模板和测试服务，极大地提高了测试用户对待测模型测试地易用性，减少了测试人员的工作量，提高测试效率。

公开(公告)号：CN117407299A

公开(公告)日：2024-01-16

申请号：CN202311350449.6

申请日：2023-10-18

Applicant: 北京大学

Inventor： 袁孝宇 ,  陈建平 ,  曾炜 ,  张洪明

IPC: G06F11/36

Abstract: 本申请涉及人工智能技术领域，具体提供一种模型测试方法，旨在解决面对不同测试需求时会有大量繁杂重复的工作，测试效率低下的问题。为此目的，本申请的模型测试方法应用于服务端，包括：接收客户端发送的待测模型文件、测试数据信息、待测模型的硬件设备参数和测试参数；基于待测模型文件、硬件设备参数和测试参数，生成待测模型；基于测试数据信息，对待测模型进行测试，得到测试结果；向客户端发送测试结果。通过上述方法，能够将测试用户与支持模型运行的硬件完全隔离，并能自动生成测试所需的代码模板和测试服务，极大地提高了测试用户对待测模型测试地易用性，减少了测试人员的工作量，提高测试效率。

公开(公告)号：CN117076282B

公开(公告)日：2023-12-15

申请号：CN202311335808.0

申请日：2023-10-16

Applicant: 北京大学

Inventor： 陈建平 ,  曾炜 ,  袁孝宇 ,  张洪明

IPC: G06F11/34

Abstract: 本发明涉及一种硬件算子时间性能的检测方法及装置，方法包括：获取待检测算子函数的函数名称和输入参数，调用算子检测的通用过程代理中的初始化方法，初始化所需的硬件设备以及所述输入参数；调用算子检测的通用过程代理中的开始计时方法进行计时，并基于所述待检测算子函数的函数名称和初始化后的输入参数，调用扩展功能代理中的目标扩展操作函数以及算子执行映射代理中的目标算子执行函数，执行待检测算子函数的操作；调用算子检测的通用过程代理中的结束计时方法结束计时，确定所述待检测算子函数在硬件设备的运行时间。基于此，提高算子检测的易用性、迁移性和灵活性。

公开(公告)号：CN117076282A

公开(公告)日：2023-11-17

申请号：CN202311335808.0

申请日：2023-10-16

Applicant: 北京大学

Inventor： 陈建平 ,  曾炜 ,  袁孝宇 ,  张洪明

IPC: G06F11/34

Abstract: 本发明涉及一种硬件算子时间性能的检测方法及装置，方法包括：获取待检测算子函数的函数名称和输入参数，调用算子检测的通用过程代理中的初始化方法，初始化所需的硬件设备以及所述输入参数；调用算子检测的通用过程代理中的开始计时方法进行计时，并基于所述待检测算子函数的函数名称和初始化后的输入参数，调用扩展功能代理中的目标扩展操作函数以及算子执行映射代理中的目标算子执行函数，执行待检测算子函数的操作；调用算子检测的通用过程代理中的结束计时方法结束计时，确定所述待检测算子函数在硬件设备的运行时间。基于此，提高算子检测的易用性、迁移性和灵活性。

公开(公告)号：CN119512735A

公开(公告)日：2025-02-25

申请号：CN202411352508.8

申请日：2024-09-26

Applicant: 北京大学

Inventor： 郑歆慰 ,  陈建平 ,  张洪明 ,  曾炜

IPC: G06F9/50

Abstract: 本公开提供一种显存的分配方法和装置，涉及通信技术领域。上述方法包括：对所述服务端中的显存，检测在运行过程中实际的第一显存参数，所述服务端部署有多个模型；根据所述第一显存参数，对所述显存预测第二显存参数；对所述服务端，预测未来预设时间段中目标用户的用户请求信息；根据所述第一显存参数、所述第二显存参数和用户请求信息，进行针对所述未来预设时间段的显存分配。本公开可以针对多模型的资源需求冲突，通过对尚未充分使用的内存和CPU计算能力进行开发，以将多个模型更加紧凑地部署在一台计算设备之上，实现多模型的并存和并发。