面向多K8s集群的Spark协同计算、作业方法及装置

    公开(公告)号:CN115242877B

    公开(公告)日:2023-01-24

    申请号:CN202211148298.1

    申请日:2022-09-21

    Abstract: 本发明公开了面向多K8s集群的Spark协同计算、作业方法及装置,针对目前多K8s集群大多采用联邦集群的模式,而Spark自身的调度和优化的方法不能跨域实现的问题,通过实现跨域协同中心,将多K8s集群设置为主集群和从集群,主集群负责创建Spark的Driver容器和Pod,从集群负责创建Spark的Executor容器和Pod。在创建容器之后,通过协同中心汇聚地址信息和访问凭证,在主集群和从集群之间建立直联的隧道,并通过隧道实现从集群中的容器向Driver注册并持续发送心跳报文。Driver在注册完成之后,可以通过隧道下发执行任务,并通过窄/宽等不同的数据依赖关系,实现在不同集群的最优调度。

    面向多K8s集群的Spark协同计算、作业方法及装置

    公开(公告)号:CN115242877A

    公开(公告)日:2022-10-25

    申请号:CN202211148298.1

    申请日:2022-09-21

    Abstract: 本发明公开了面向多K8s集群的Spark协同计算、作业方法及装置,针对目前多K8s集群大多采用联邦集群的模式,而Spark自身的调度和优化的方法不能跨域实现的问题,通过实现跨域协同中心,将多K8s集群设置为主集群和从集群,主集群负责创建Spark的Driver容器和Pod,从集群负责创建Spark的Executor容器和Pod。在创建容器之后,通过协同中心汇聚地址信息和访问凭证,在主集群和从集群之间建立直联的隧道,并通过隧道实现从集群中的容器向Driver注册并持续发送心跳报文。Driver在注册完成之后,可以通过隧道下发执行任务,并通过窄/宽等不同的数据依赖关系,实现在不同集群的最优调度。

    一种面向异构算力的多策略智能调度方法和装置

    公开(公告)号:CN115237581A

    公开(公告)日:2022-10-25

    申请号:CN202211148225.2

    申请日:2022-09-21

    Abstract: 本发明属于智能计算技术领域,涉及一种面向异构算力的多策略智能调度方法和装置,该方法包括:步骤一,基于计算集群的异构性、计算任务的差异和用户需求,设定任务的执行策略,采用强化学习方法并结合所述执行策略,构建马尔可夫决策过程模型;步骤二,基于构建的马尔可夫决策过程模型,采用近端策略优化算法求解用户计算任务的最优任务调度策略;步骤三,基于最优任务调度策略,将任务调度到所对应的集群上执行。本发明是通过强化学习的方法,以用户为中心设计异构算力构建多策略的调度方法,能根据不同算力中心异构算力集群的状态自学习式地找出最优任务调度方案,从而以成本划算的方式提升算力的利用率,满足用户计算任务的需求。

    一种室内定位导航设备和方法

    公开(公告)号:CN113949999A

    公开(公告)日:2022-01-18

    申请号:CN202111055313.3

    申请日:2021-09-09

    Inventor: 程宏才 高丰

    Abstract: 本发明涉及空间定位和导航领域,具体涉及一种室内定位导航设备和方法,该导航设备包括:视觉SLAM定位组件、惯性导航定位组件、定位综合器组件、预设参考点检测组件;所述视觉SLAM定位组件接收视觉图像信号来实时定位设备位置并构建地图,输出视觉SLAM定位数据;惯性导航定位组件估算得到设备的运动轨迹信息,输出惯性导航定位数据及设备实时速度数据;预设参考点检测组件检测设备当前是否位于预设定位参考点位置上,并给出所处的预设参考点位置检测数据;定位综合器组件接收并结合上述数据,基于无模型强化学习方法,输出设备实时的定位数据,得到设备最终位置。本发明具有灵活智能的保持对环境变化的响应能力。

    面向边缘计算的重参数神经网络架构搜索方法

    公开(公告)号:CN113435590B

    公开(公告)日:2021-12-21

    申请号:CN202110991876.7

    申请日:2021-08-27

    Abstract: 本发明公开了面向边缘计算的重参数神经网络架构搜索方法,包括如下步骤:步骤一:设计线性算子与多支路块结构;步骤二:通过堆叠多支路块结构构建超级网络;步骤三:通过基于梯度的一阶段搜索算法训练超级网络;步骤四:删除超级网络中多余的支路构建最佳子网络;步骤五:多分支的最佳子网络转化成单支路网络;步骤六:使用单支路网络完成任务推理。本发明用于搜索可进行重参数的神经网络结构,在保证推理精度的同时,确保了推理的实时性以及模型运算的高效率。

    一种基于KubeEdge和EdgeOS的物联网设备控制架构和方法

    公开(公告)号:CN113691497A

    公开(公告)日:2021-11-23

    申请号:CN202110793971.6

    申请日:2021-07-13

    Abstract: 本发明涉及一种基于KubeEdge和EdgeOS的物联网设备控制架构和方法,该架构具体为:所述KubeEdge包含云侧模块和边缘侧模块,所述云侧模块部署有云端节点,边缘侧模块部署有边缘节点,所述云侧模块管理边缘节点和发布边缘端应用,边缘侧模块执行边缘端应用部署和数据同步至云侧模块,所述边缘节点部署Device Mapper和MQTT Broker,所述EdgeOS配置有Gateway网关并通过该网关与端侧设备进行数据通信,所述Device Mapper以HTTP消息形式与Gateway网关交互,发布、订阅MQTT消息至MQTT Broker。本发明降低了KubeEdge侧设备管理开发的复杂度。

    一种端边协同的视觉同步建图与定位系统及方法

    公开(公告)号:CN113674408A

    公开(公告)日:2021-11-19

    申请号:CN202110813841.4

    申请日:2021-07-19

    Abstract: 本发明涉及计算机视觉领域,具体涉及一种端边协同的视觉同步建图与定位系统及方法,该系统通过一个边缘设备,同时服务于控制范围内的多个移动端设备,满足视觉SLAM应用在端边场景下的应用的算力需求,通过在移动端运行跟踪模块,完成图像帧的采集和预处理和图像的特征点的提取并筛选出关键帧,在边缘侧运行局部建图模块与回环检测模块,完成定位和局部建图。本发明选用ORBSLAM2作为基本框架,通过边缘计算技术中的端边协同技术与视觉同步建图定位技术相结合,提高了视觉同步建图与定位的精度、实时性和可靠性,并且能够有效拓宽其在移动设备中的应用范围。

    端云协同的用户隐私保护车辆保险保费计算模型及方法

    公开(公告)号:CN113328989A

    公开(公告)日:2021-08-31

    申请号:CN202110431694.4

    申请日:2021-04-21

    Abstract: 本发明公开了端云协同的用户隐私保护车辆保险保费计算模型及方法,方法包括:S1,端侧用户构建传输的数据包;S2,将数据包从端侧传输到云侧;S3,通过加密数据,筛选云侧共享数据池,得到候选数据集;S4,对候选数据集使用方程组求解恢复属性,得到匹配数据集;S5,生成会话秘钥;S6,对匹配数据集的每一条匹配项的车辆保险保费价格使用会话秘钥加密,并传输给端侧用户,端侧用户解密车辆保险保费价格;端侧模型包括:秘钥生成模块、哈希映射模块、布隆矩阵生成模块、启发式矩阵生成模、解密模块;云侧模型包括:云侧共享数据池、布隆过滤器、加密属性恢复模块、会话秘钥生成模块、车辆保险保费价格传输模块。

    一种基于智能合约的云边协同多模式隐私数据流转方法

    公开(公告)号:CN113326541A

    公开(公告)日:2021-08-31

    申请号:CN202110886663.8

    申请日:2021-08-03

    Abstract: 本发明公开了一种基于智能合约的云边协同多模式隐私数据流转方法,包括如下步骤:S1,系统初始化;S2,DO将原始数据加密成隐私数据,产生存储的加密凭证z’,z’中包含元数据metadata和数据凭证key’;S3,DO调用智能合约程序实现加密凭证z’上链,DO将z’通过智能合约发布到区块链上,智能合约对所有用户账户开放;S4,实现快速数据流转:DO在发布时,已经明确DU,通过访问策略policy设定DU的用户账号IDDU,DU通过执行智能合约和密钥算法,得到数据访问的加密密钥key,通过元数据,获取隐私数据并解密获取明文;S5,数据流转的确认:DO提交数据流转的交易凭证,确认数据流转完成。

    一种基于向量相似度匹配优化的检索增强生成方法

    公开(公告)号:CN117573815A

    公开(公告)日:2024-02-20

    申请号:CN202410069097.5

    申请日:2024-01-17

    Abstract: 本说明书公开了一种基于向量相似度匹配优化的检索增强生成方法,确定待处理文本的特征向量,根据指定的向量数据库中的候选向量、待处理文本的特征向量以及相似度预测模型,得到候选向量与待处理文本的特征向量之间的相似度,基于相似度确定与待处理文本关联的参考文本,将待处理文本和参考文本确定的提示文本输入到预训练的自然语言模型得到目标文本。可见,通过上述方案可以基于相似度预测模型匹配得到的参考文本能够适应于指定领域,并提高参考文本的准确性,从而提高目标文本的质量。

Patent Agency Ranking