-
公开(公告)号:CN116700918A
公开(公告)日:2023-09-05
申请号:CN202310221652.7
申请日:2023-03-09
申请人: 北京海致星图科技有限公司
IPC分类号: G06F9/48
摘要: 本发明提供了一种分布式易扩展的工作流任务调度系统设计方法,包括架构设计,包括如下步骤:设置manager/worker为主从节点;基于redis作为队列,将待执行的作业放置到redis中,由各个worker抢占;manager节点为主节点,支持多活并对外开放服务,由外部调用服务创建工作流和执行工作流,并负责发送任务到redis队列;worker节点为从节点,支持多节点并且向manager发送心跳;manager和worker通过nacos注册中心进行服务发现和通信,并可设置多活;调度元数据存储在mysql数据库中。本发明提供的分布式易扩展的工作流任务调度系统设计方法、设备和计算机可读存储介质,通过主从节点,事件驱动的设计架构,解决调度框架常见的高可靠,工作流依赖,任务重试等问题。
-
公开(公告)号:CN116610375A
公开(公告)日:2023-08-18
申请号:CN202310219911.2
申请日:2023-03-09
申请人: 北京海致星图科技有限公司
摘要: 本发明提供了一种分布式大数据组件统一服务引擎设计方法、设备和计算机可读存储介质,方法包括如下步骤:根据大数据计算框架spark/flink的特点,在系统中以jonName‑plugins‑module的组织方式来引用相关业务开发的源码包和配置文件以及启动脚本,不依赖其他jar包,提供大数据计算引擎中核心的计算引擎层;对具有相同特点的计算框架按照上述步骤进行添加,并通过前缀进行区分。本发明提供的分布式大数据组件统一服务引擎设计方法、设备和计算机可读存储介质,通过大数据计算框架组织和对外开放服务接口的方式整合大数据生态组件和计算,降低了开发难度、使用开销,提升了工作效率。
-
公开(公告)号:CN113886606B
公开(公告)日:2022-12-13
申请号:CN202111487568.7
申请日:2021-12-08
申请人: 北京海致星图科技有限公司
IPC分类号: G06F16/36 , G06F40/279 , G06F40/247 , G06F16/35
摘要: 本申请实施例公开了一种基于知识图谱的数据标注方法、装置、介质及设备。其中,该方法包括:响应于标注任务的创建请求,确定标注任务关联的图本体模型;其中,图本体模型用于构建实体属性以及实体与实体之间的关系;获取标注目标文档,并根据图本体模型确定标注项数据;根据标注项数据确定带有标注的训练文档,以对预训练模型进行训练,若训练过程中预训练模型的输出结果符合验收标准,则得到规范模型;采用规范模型对标注目标文档的实体属性以及实体与实体之间的关系进行标注。采用本申请技术方案,可将知识图谱与标注数据相结合,从而实现标注数据的可视化,能够更加清晰、直观地反映数据,同时提高了数据标注的效率。
-
公开(公告)号:CN113609318B
公开(公告)日:2022-03-22
申请号:CN202111175074.5
申请日:2021-10-09
申请人: 北京海致星图科技有限公司 , 清华大学
摘要: 本发明公开了一种图数据处理方法、装置、电子设备以及存储介质,属于计算机技术领域。该方法包括:根据待存储图数据中端点的标识信息和所述端点关联的关系边的类型,构建至少一个类型的关系边的基础键值对键域的外键标识;根据所述端点的标识信息和所述关系边的标识信息,确定所述关系边的数据键值对键域的内键标识;根据所述关系边的属性信息,确定所述关系边的数据键值对值域的内键值;将同类型的关系边的数据键值对写入该类型所对应的关系边的基础键值对值域的寻址区域中;将所述基础键值对写入图数据库的kv存储引擎中。通过上述技术方案,提高了图数据导入性能和访问性能。
-
公开(公告)号:CN116401410B
公开(公告)日:2024-01-26
申请号:CN202310219191.X
申请日:2023-03-09
申请人: 北京海致星图科技有限公司
IPC分类号: G06F16/901 , G06F9/54
摘要: 本发明实施例提供一种多场景多图数据库接入图谱数据的方法、装置、存储介质和设备,该方法包括:创建图数据源和图谱,所述图数据源至少包含图数据源来源,并将图谱与图数据源绑定,定义图谱内的第一实体跟关系信息,包括实体信息和关系信息,当图数据源来源为内部数据源时,采用导入方式将图数据源插入图数据库,内部数据源中没有内置图数据;当图数据源来源为外部数据源时,采用接入方式将图数据源插入图数据库,外部数据源中内置图数据,根据第一实体跟关系信息,为插入图数据库的图数据创建数据库以及第二实体跟关系信息,并根据第二实体跟关系信息创建全文检索的索引。本发明能对多场景的图谱数据的接入和查询,并且支持接入到多种图数据库。
-
公开(公告)号:CN116842189A
公开(公告)日:2023-10-03
申请号:CN202310635784.4
申请日:2023-05-31
申请人: 北京海致星图科技有限公司
IPC分类号: G06F16/36 , G06F16/33 , G06F16/338
摘要: 本发明提供了基于知识图谱实体和关系的排序方法,包括如下步骤:获取排序规则以及图谱节点关系数据;将图谱节点关系数据转换成树状数据结构;对树状数据结构中的每一数组内的节点进行排序;将要进行排序的节点数组按照排序规则解析成对应的权重数组;根据排序规则和权重数组,取出排名前N的节点作为TOPN节点;统计未排序或未展示的节点作为剩余节点并按照排序规则进行排序或展示。本发明提供的基于知识图谱实体和关系的排序方法、设备和计算机可读存储介质,综合考虑节点和关系的不同角度,支持字段级别的排序,同时对多条关系进行排序,提供更加灵活和准确的图谱展示结果。
-
公开(公告)号:CN116756334A
公开(公告)日:2023-09-15
申请号:CN202310638095.9
申请日:2023-05-31
申请人: 北京海致星图科技有限公司
IPC分类号: G06F16/36 , G06F16/958
摘要: 本发明提供了一种基于知识图谱链路追踪方法,方法包括:web端发起链路追踪,服务端图管理组件计算出发起此次链路追踪的Session ID,返回到web端,并提交链路追踪任务到图分析组件;图分析组件根据业务规则进行图计算和分析,并通知图管理组件获取计算结果;图管理组件将获取的计算结果根据Session ID持久化到对应的存储介质中;web端根据获取到的Session ID,轮询发起查询结果请求,服务端通过图展示组件向图管理组件获取结果数据,并根据对应的业务规则构建出有向连通图并返回到web端;web端根据结果进行渲染,进行链路追踪操作。本发明提供的基于知识图谱链路追踪方法,知识图谱构建图过程中可以进行在线动态建图并在建图中能手动终止无效图分析链路。
-
公开(公告)号:CN116701103A
公开(公告)日:2023-09-05
申请号:CN202310219659.5
申请日:2023-03-09
申请人: 北京海致星图科技有限公司
IPC分类号: G06F11/30
摘要: 本发明提供了一种基于FLINK的实时计算引擎设计方法、设备和计算机可读存储介质,方法包括:使用Flink作为实时处理引擎的核心组件;使用HDFS作为实施引擎回滚的checkPoint;使用度量系统进行统计实时处理框架的计算数量;使用资源管理系统作为服务的统一调度系统。本发明提供的基于FLINK的实时计算引擎设计方法、设备和计算机可读存储介质,针对实时处理框架性能和语义等问题,提出了基于Flink引擎设计思路,通过对Flink计算框架的组织和封装的方式整合实时计算和对外接口的设计,实现了可插拔多组件的精确一次语义,高吞吐,高可靠的实时处理系统。
-
公开(公告)号:CN116401410A
公开(公告)日:2023-07-07
申请号:CN202310219191.X
申请日:2023-03-09
申请人: 北京海致星图科技有限公司
IPC分类号: G06F16/901 , G06F9/54
摘要: 本发明实施例提供一种多场景多图数据库接入图谱数据的方法、装置、存储介质和设备,该方法包括:创建图数据源和图谱,所述图数据源至少包含图数据源来源,并将图谱与图数据源绑定,定义图谱内的第一实体跟关系信息,包括实体信息和关系信息,当图数据源来源为内部数据源时,采用导入方式将图数据源插入图数据库,内部数据源中没有内置图数据;当图数据源来源为外部数据源时,采用接入方式将图数据源插入图数据库,外部数据源中内置图数据,根据第一实体跟关系信息,为插入图数据库的图数据创建数据库以及第二实体跟关系信息,并根据第二实体跟关系信息创建全文检索的索引。本发明能对多场景的图谱数据的接入和查询,并且支持接入到多种图数据库。
-
公开(公告)号:CN116401346A
公开(公告)日:2023-07-07
申请号:CN202310219903.8
申请日:2023-03-09
申请人: 北京海致星图科技有限公司
IPC分类号: G06F16/332 , G06F40/242
摘要: 本发明提供了一种任务型多轮对话构建方法、设备和计算机可读存储介质,方法包括:通过意图管理,可配置在对话中需触发的任务型对话意图;意图管理步骤中,对话意图的配置具体包括:词槽设置,词槽设置用于定义在对话中需要抽取的各个槽位信息和抽取内容的范围,实现对话意图所需填充的信息;触发设置,触发设置用于定义触发对话意图的条件;回复设置,回复设置用于设置对话完成的条件和回复结果,可根据词槽情况配置触发最终回复的条件。本发明提供的任务型多轮对话构建方法、设备和计算机可读存储介质,满足多种实际应用场景的对话交互需求。
-
-
-
-
-
-
-
-
-