一种基于DPU的Spark SQL查询计划树的执行管理方法及装置

    公开(公告)号:CN118861096A

    公开(公告)日:2024-10-29

    申请号:CN202410953084.4

    申请日:2024-07-16

    Abstract: 本发明提供一种基于DPU的Spark SQL查询计划树的执行管理方法及装置,针对查询任务允许DPU和CPU混合运算,提升计算性能,提升资源利用率,在自适应查询执行模式未运行时,对查询计划树进行整体部署,在算子全部符合DPU支持的类型时,优先将算子卸载至DPU运行,否则整体交由CPU处理。在自适应查询执行模式运行时,先判断当前拦截的子计划树是否具备自适应查询执行算子,若是则先判断整个查询计划树是否可卸载并标记在配置单中,若不是则查询配置单的标记并按照标记将当前子计划树交由DPU或CPU处理。这种执行管理方式针对单个查询任务整体部署,避免了引入额外的行列转换算子,以及行列转换算子带来的数据复制开销,节省资源,提升计算性能。

    基于切片的存储管理方法、装置、设备及介质

    公开(公告)号:CN117785032B

    公开(公告)日:2024-10-18

    申请号:CN202311636204.X

    申请日:2023-11-30

    Abstract: 本公开涉及一种基于切片的存储管理方法、装置、设备及介质,该方法应用于网络处理器,网络处理器包括:RAM存储阵列,RAM存储阵列包括多个RAM颗粒;该方法包括:以预设长度的SLICE为单位对原始数据进行拆分,得到多个数据包;针对每个数据包,基于包括多个RAM颗粒的RAM存储阵列对数据包进行划分,将数据包均划分到多个RAM颗粒内,或者,将数据包划分到同一个RAM颗粒内;当接收到用户的读写访问请求时,对数据包进行读写仲裁,以响应读写访问请求。本公开能够较好地承载高速大流量数据包的快速写入读出管理等功能,提高网络处理器的整体处理并发的能力和稳定性。

    一种数据报文处理方法及系统

    公开(公告)号:CN117240811B

    公开(公告)日:2024-09-27

    申请号:CN202311107047.3

    申请日:2023-08-30

    Abstract: 本发明提供一种数据报文处理方法及系统,所述方法的步骤包括:网络处理器对报文数据进行匹配;系统级芯片每隔同步周期从网络处理器中获取卸载流表及卸载流表的匹配次数;系统级芯片基于卸载流表的匹配次数,将卸载流表转移至第一隔离区中;基于第一隔离区中的卸载流表,将网络处理器中对应的卸载流表转移至第二隔离区,网络处理器在下一个同步周期继续记录处于第二隔离区的卸载流表的匹配次数;系统级芯片在下一个同步周期从第二隔离区中获取卸载流表及对应每个卸载流表的匹配次数,生成对应第二隔离区中卸载流表的流表标签,将所述流表标签和对应卸载流表的匹配总次数保存至记录存储区,并删除第一隔离区和第二隔离区中的卸载流表。

    一种服务网络按服务卸载的方法及装置

    公开(公告)号:CN117176819B

    公开(公告)日:2024-09-13

    申请号:CN202311264274.7

    申请日:2023-09-27

    Abstract: 本发明提供一种服务网络按服务卸载的方法及装置,包括:在Kubernetes集群内安装并部署数据处理单元容器网络接口;利用容器网络接口收集Kubernetes集群内各服务的服务IP以及对应的集群基本单元IP;根据服务IP和集群基本单元IP设置规则表,并将规则表下发至数据处理单元的协议栈规则表中;数据处理单元根据规则表中的规则,为每个服务启动一个代理组件;客户端访问特定服务IP,当访问请求到达数据处理单元,根据规则表确定特定服务对应的代理组件,将流量上送至代理组件进行处理。本发明提供的服务网络按服务卸载的方法能够支持大规模云网络场景,针对每个服务部署代理组件,以细化粒度,能够有针对性的对高优先级服务或用户提供更优质的业务体验。

    DPU金融数据信息解析系统的时延数值确定方法

    公开(公告)号:CN118590416A

    公开(公告)日:2024-09-03

    申请号:CN202410811977.5

    申请日:2024-06-21

    Inventor: 陈巍 陈岩 鄢贵海

    Abstract: 本公开实施例提供了一种DPU金融数据信息解析系统的时延数值确定方法,涉及DPU技术领域。该方法包括:从对端系统获取历史的行情报文数据以及初始时间戳,并将历史的行情报文数据输入至DPU金融数据信息解析系统;基于DPU金融数据信息解析系统对历史的行情报文数据进行处理,得到交易报文数据;基于DPU金融数据信息解析系统,将交易报文数据发送至对端系统,并获取终止时间戳;根据终止时间戳和初始时间戳,确定DPU金融数据信息解析系统的时延数值。采用本技术方案,能够准确地计算出DPU金融数据信息解析系统处理金融行情报文数据的时延数值,进而降低金融交易处理过程中的金融风险。

    DPU光模块故障测试方法、装置、电子设备及计算机存储介质

    公开(公告)号:CN118449593A

    公开(公告)日:2024-08-06

    申请号:CN202410637381.8

    申请日:2024-05-22

    Abstract: 本申请实施例提供了一种DPU光模块故障测试方法、装置、电子设备及计算机存储介质。该方法应用于测试设备,所述测试设备的主板中设置有处理器和DPU板卡,所述处理器与所述DPU板卡在所述主板中通过总线通信连接,所述DPU板卡经由待测光模块连接到路由器,所述方法包括:在所述处理器执行测试程序时,向所述DPU板卡发送测试指令,所述测试指令指示所述DPU板卡对所述待测光模块执行控制;根据所述DPU板卡返回的控制执行结果,生成并展示测试结果。本申请有效的提高了故障检测效率和故障检测准确率,有效的避免了现有技术中人工测试效率低,且测试过程容易出现错误的问题。

    基于DPU的计算单元的调度方法、系统、存储介质及电子设备

    公开(公告)号:CN118426929A

    公开(公告)日:2024-08-02

    申请号:CN202410571048.1

    申请日:2024-05-09

    Abstract: 本申请实施例提供了一种基于DPU的计算单元的调度方法、系统、存储介质及电子设备,计算单元的调度方法用于包括多个计算单元的计算系统,计算系统包括专用数据处理器DPU,通过获取待处理数据、各计算单元的当前性能数据和当前状态数据,计算单元的当前性能数据根据计算单元的历史数据处理效率确定,计算单元的当前状态数据用于指示计算单元当前是否可用;根据各计算单元的当前性能数据和当前状态数据,从各计算单元中确定目标计算单元;将待处理数据分配至目标计算单元进行处理。本申请中目标计算单元的调度是根据各计算单元的当前性能数据和当前状态数据灵活确定的,可以使所有的计算单元得到合理分配,从而提高了数据的计算效率。

    数据传输方法、装置、电子设备及存储介质

    公开(公告)号:CN117997899A

    公开(公告)日:2024-05-07

    申请号:CN202311659707.9

    申请日:2023-12-05

    Abstract: 本公开涉及一种数据传输方法、装置、电子设备及存储介质。其中,数据传输方法应用于数据处理单元,数据处理单元部署在云服务器上,包括:获取用户端发送至云服务器上的目标容器的数据包;基于用户态协议栈对数据包进行解析处理,获取数据包对应的目的接口地址,并根据目的接口地址确定数据包对应的路由信息;基于路由信息将数据包发送至目标容器,由此,能够将在云服务器的内核协议栈中调用中断将数据包转入到目标容器的过程卸载到数据处理单元上,由数据处理单元来进行数据包的转发处理,进而提高了云服务器的性能和处理速率。

    一种金融行情合约数据接收方法及装置

    公开(公告)号:CN116962513B

    公开(公告)日:2024-04-19

    申请号:CN202310920061.9

    申请日:2023-07-25

    Abstract: 本发明提供一种金融行情合约数据接收方法及装置,针对现实交易的不确定性,通过在接收金融行情合约的过程中,设置和执行完整的合约补齐方案,利用插补数据的形式保证接收到的金融行情合约在次序和设定条数上的完整性,使得后续决策过程能够始终按照统一的数据设定条数并行处理,保证了急速交易的实现。同时,在对金融行情合约进行派发时,基于订阅机制按照用户的需求筛选数据,减少后续应用过程中对数据的无效处理,提升了处理速度和执行效率。

    DPU运行状态监控方法及装置

    公开(公告)号:CN116932332B

    公开(公告)日:2024-04-19

    申请号:CN202310989086.4

    申请日:2023-08-08

    Abstract: 本申请提供一种DPU运行状态监控方法及装置,所述方法包括:接收分别部署在容器集群中的各个容器节点上的DPU指标采集器采集各自所在的容器节点中包含的业务容器的网络资源统计数据;以及,接收各个容器节点各自对应的DPU的片上系统中用户态协议栈的网络接口统计数据,其中,各个网络接口统计数据分别由各个DPU指标采集器调用各自所在的容器节点唯一对应的DPU中的片上系统指标采集器来获取;将所述业务容器的网络资源统计数据和用户态协议栈的网络接口统计数据作为DPU指标对DPU的运行状态进行实时监控。本申请能够有效采集容器集群中的DPU指标,从而对DPU指标进行实时监控,进而提升DPU运行的稳定性。

Patent Agency Ranking