公开(公告)号：CN116227599A

公开(公告)日：2023-06-06

申请号：CN202310119874.8

申请日：2023-02-15

申请人： 网络通信与安全紫金山实验室

发明人： 陈国海 ,  马海波 ,  黄永明 ,  尤肖虎

IPC分类号： G06N5/04 ,  G06N3/082 ,  G06N3/0464

摘要： 本发明公开了一种推理模型的优化方法、装置、电子设备及存储介质。所述方法包括：从模型对应的计算输入图中获取当前算子和下一层算子；确定所述当前算子需要拆分时，将所述当前算子拆分为多个子算子以及融合算子；基于所述多个子算子以及联合融合算子生成第一计算输出图，所述联合融合算子基于所述融合算子与所述下一层算子生成；从所述计算输入图中重新获取当前算子，按照上述过程在所述第一计算输出图的基础上确定出第二计算输出图，直到所述计算输入图中的所有算子遍历完成，得到目标计算输出图，以实现推理模型的优化。该方法通过将算子拆分为更小规模的子算子，能够减少单个子算子执行时所需要的缓存资源，从而可以降低整个模型在硬件中计算时需要的资源。

公开(公告)号：CN112416607A

公开(公告)日：2021-02-26

申请号：CN202011555723.X

申请日：2020-12-25

申请人： 网络通信与安全紫金山实验室

发明人： 陈国海 ,  马海波 ,  黄永明 ,  尤肖虎

IPC分类号： G06F9/50

摘要： 本发明公开了一种提升Cache命中率的方法、系统、设备及介质，方法包括Cache控制优化器查询Cache控制器管理的Cache特性信息；Cache控制优化器向Cache控制器发送可控Cache请求，Cache控制器分配Cache控制优化器可管理的可控Cache；Cache控制优化器优化可控Cache；Cache控制器释放Cache控制优化器管理的可控Cache，释放后的可控Cache交由Cache控制器管理调度。本发明划分Cache的使用控制，一部分由Cache控制器按现有的替换策略进行管理，另一部分由Cache控制优化器对可控Cache进行优化管理，提高Cache的命中率。

公开(公告)号：CN112416607B

公开(公告)日：2023-11-24

申请号：CN202011555723.X

申请日：2020-12-25

申请人： 网络通信与安全紫金山实验室

发明人： 陈国海 ,  马海波 ,  黄永明 ,  尤肖虎

IPC分类号： G06F9/50

摘要： 本发明公开了一种提升Cache命中率的方法、系统、设备及介质，方法包括Cache控制优化器查询Cache控制器管理的Cache特性信息；Cache控制优化器向Cache控制器发送可控Cache请求，Cache控制器分配Cache控制优化器可管理的可控Cache；Cache控制优化器优化可控Cache；Cache控制器释放Cache控制优化器管理的可控Cache，释放后的可控Cache交由Cache控制器管理调度。本发明划分Cache的使用控制，一部分由Cache控制器按现有的替换策略进行管理，另一部分由Cache控制优化器对可控Cache进行优化管理，提高Cache的命中率。

公开(公告)号：CN112306675B

公开(公告)日：2024-06-04

申请号：CN202011084416.8

申请日：2020-10-12

申请人： 网络通信与安全紫金山实验室

发明人： 陈国海 ,  马海波 ,  黄永明 ,  尤肖虎

IPC分类号： G06F9/50

摘要： 本发明公开了一种数据处理方法、相关设备以及计算机可读存储介质，属于数据处理领域，其中数据处理方法包括：内存复用客户端对算子的输出内存进行切割，并建立切割后的多个内存块和切割前内存块的对应关系；所述内存复用客户端向内存复用服务器发出内存复用请求；所述内存复用客户端接收所述内存复用服务器的响应消息；所述内存复用客户端根据切割后内存块和切割前内存块的对应关系和响应消息中的内存块的相对偏移设置算子输出内存的一个或者多个偏移；通过将算子的输入输出缓存分割成更小块的内存需求，这样更加容易去填补内存复用时的内存空洞，降低深度学习时模型算子输入输出缓存复用的内存总需求。

公开(公告)号：CN114302451A

公开(公告)日：2022-04-08

申请号：CN202111669513.8

申请日：2021-12-31

申请人： 网络通信与安全紫金山实验室

发明人： 陈国海 ,  马海波 ,  黄永明 ,  尤肖虎

IPC分类号： H04W28/02 ,  H04L47/12 ,  H04L47/10 ,  H04L47/193

摘要： 本发明公开一种数据传输方法、装置和存储介质，方法包括源端与目的端通过转发设备进行TCP数据传输，其中转发设备与目的端之间通过空口直接或间接连接；当转发设备检测到空口转发数据包失败时，向源端发送ACK数据包；源端记录空口转发失败的数据包的序列号和长度，并与对应的TCP数据流关联，形成空口转发失败数据列表。应用本发明的方法，空口发生丢包后，转发设备向源端发送丢失的数据包的序列号和长度，源端在后续收到重复确认号时不再按照丢包进行处理，不调整拥塞窗口和慢启动阈值，从而不降低数据的发送的性能。

公开(公告)号：CN112306675A

公开(公告)日：2021-02-02

申请号：CN202011084416.8

申请日：2020-10-12

申请人： 网络通信与安全紫金山实验室

发明人： 陈国海 ,  马海波 ,  黄永明 ,  尤肖虎

IPC分类号： G06F9/50

摘要： 本发明公开了一种数据处理方法、相关设备以及计算机可读存储介质，属于数据处理领域，其中数据处理方法包括：内存复用客户端对算子的输出内存进行切割，并建立切割后的多个内存块和切割前内存块的对应关系；所述内存复用客户端向内存复用服务器发出内存复用请求；所述内存复用客户端接收所述内存复用服务器的响应消息；所述内存复用客户端根据切割后内存块和切割前内存块的对应关系和响应消息中的内存块的相对偏移设置算子输出内存的一个或者多个偏移；通过将算子的输入输出缓存分割成更小块的内存需求，这样更加容易去填补内存复用时的内存空洞，降低深度学习时模型算子输入输出缓存复用的内存总需求。