一种用于NIFI任务的分布式监控系统及方法

    公开(公告)号:CN110569174B

    公开(公告)日:2023-05-12

    申请号:CN201910874660.5

    申请日:2019-09-17

    IPC分类号: G06F11/30 G06F11/32 G06F11/34

    摘要: 本发明公开了一种用于NIFI任务的分布式监控系统及方法,属于任务监控领域,要解决的技术问题为如何对NIFI从任务和步骤两个方面进行日志统计及监控。系统包括:kafka分布式集群;关系型数据库,所述关系型数据库内配置有日志表;日志处理器,所述日志处理器为一种组件,包括任务日志处理器和步骤日志处理器;监控平台,所述监控平台用于读取日志表并通过监控界面展示日志表。方法包括:构建一种用于NIFI任务的分布式监控系统,并基于NIFI任务链配置日志处理器;通过日志处理器从任务和步骤两个方面对NIFI任务进行日志统计;通过监控界面展示分别展示所述任务日志表和步骤日志表以监控任务和步骤。

    一种结合ECharts创建关系图谱的方法

    公开(公告)号:CN109815239B

    公开(公告)日:2023-05-12

    申请号:CN201910072297.5

    申请日:2019-01-25

    IPC分类号: G06F16/22 G06F16/248

    摘要: 本发明公开了一种结合ECharts创建关系图谱的方法,属于计算机技术领域。本发明的结合ECharts创建关系图谱的方法,包括以下步骤:S1、根据查询条件,查出第一个节点和所有要显示的数据;S2、从第一个节点开始,查出所有与第一个节点有关联的数据;S3、对所有要显示的数据进行循环,分别查找有关联的节点;S4、获取各层级的节点信息,对节点进行计算,获取节点坐标;S5、从所有要显示的数据中获取节点的所有关联关系;S6、根据节点的关联关系进行连线,创建关联图谱。该发明的结合ECharts创建关系图谱的方法能够将纷繁复杂的数据清晰的展示出来,同时对节点进行自由拖拽,具有很好的推广应用价值。

    定时抽取和加工数据的方法、终端及计算机可读存储介质

    公开(公告)号:CN110555074B

    公开(公告)日:2023-04-25

    申请号:CN201910856485.7

    申请日:2019-09-11

    IPC分类号: G06F16/25 G06Q40/10 G06Q40/12

    摘要: 本发明公开了一种定时抽取和加工数据的方法、终端及计算机可读存储介质,属于数据抽取与加工领域,要解决的技术问题为如何通过xxl‑job和远程调用shell脚本来实现定时抽取和加工数据。其方法基于xxl‑job部署调度器,通过调度器管理任务,通过执行器进行调度,调度器通过执行器远程调用shell脚本,以定时调用sql脚本进行数据抽取和加工。终端包括处理器和存储器,存储器用于存储计算机程序,处理器被配置用于调用所述程序指令执行上述方法。计算机可读存储介质存储有计算机程序,程序指令当被处理器执行时处理器执行上述方法。

    一种文件上传的方法、装置及计算机可读介质

    公开(公告)号:CN114138724A

    公开(公告)日:2022-03-04

    申请号:CN202111419077.9

    申请日:2021-11-26

    IPC分类号: G06F16/172 G06F16/16

    摘要: 本发明涉及文件上传领域,具体提供了一种文件上传的方法,具有如下步骤:S1、在文件服务器上搭建文件上传的环境;S2、开发文件服务器文件上传功能;S3、将项目打包放入项目服务器;S4、在客户端创建上传页面;S5、在客户端服务器实现接收文件并上传到文件服务器中。与现有技术相比,本发明能够在跨服务器文件上传时,通过在文件服务器安装ava环境和tomcat,在客户端创建文件上传页面,在页面中添加文件上传的组件,保存在数据库中,上传文件时,不需要替换,仅需在数据库中寻找即可,可以很好地避免文件上传问题的发生。

    一种二级缓存数据处理方法、处理器、存储介质及系统

    公开(公告)号:CN113836180A

    公开(公告)日:2021-12-24

    申请号:CN202110994428.2

    申请日:2021-08-27

    IPC分类号: G06F16/2455 H04L29/08

    摘要: 本发明涉及数据管理技术领域,具体提供了一种二级缓存数据处理方法,应用端通过二级缓存客户端接口对二级缓存服务端的缓存服务进行操作,二级缓存服务端包括Socket管道监听服务及基于内存和磁盘的缓存服务,监听指定socket端口并处理对应信号应用至缓存服务中;二级缓存客户端与二级缓存服务端Socket管道服务通信时,请求服务端操作的二级缓存数据信号接口,将应用端对服务端缓存操作的数据信号发送至所述服务端进行处理。与现有技术相比,本发明解决了在使用数据库字典数据作为缓存数据时,能够基于单次的数据查询操作对旧缓存进行重置操作,在可接受的延时内有效的将失效的字典缓存数据进行清除和更新。

    基于网络的民主测评方法
    16.
    发明公开

    公开(公告)号:CN112686562A

    公开(公告)日:2021-04-20

    申请号:CN202110021646.8

    申请日:2021-01-08

    IPC分类号: G06Q10/06 G06Q30/02

    摘要: 本发明公开了一种基于网络的民主测评方法,属于数据处理技术领域,本发明要解决的技术问题为如何提高测评结果的可信度,节省人力和时间的同时节省纸张的使用,满足环保要求,采用的技术方案为:该方法是基于巡视信息系统,并借助网上测评系统,将测评流程标准化,测评表及调查问卷的制定修改均通过巡视信息系统完成,实现投票过程的真正匿名化,使测评结果能真正反映被测评单位的真实情况;具体如下:搭建巡视信息系统;使用问题库完成测评表及调查问卷的制定;建立网上测评基础数据分类库;制定并实施测评任务;分析测评结果。

    一种自动分析指标口径的方法、系统和装置

    公开(公告)号:CN111611248B

    公开(公告)日:2023-07-25

    申请号:CN202010449824.2

    申请日:2020-05-25

    摘要: 本发明公开了一种自动分析指标口径的方法、系统和装置,属于大数据处理领域;所述的方法先按照S1获取指标执行逻辑,通过S2对S1获取的执行逻辑进行循环判断、分析生成sql组,按照S3对sql组进行递归分析,首先分析第一层,获取sql的条件部分where和数据来源部分from,通过S4对sql的条件部分进行解析,获取单个条件的组W,对sql的数据来源from部分进行解析,获得单个表的组B,S5对组W进行循环分析,得到每个条件的字段信息及其其中的关联关系,在通过S6将分析结果进行汇总,并存储为结构化数据,最后按照S7通过画图插件D3将分析等到的数据图形化的展示在页面上,供客户查看指标口径。

    一种基于NiFi的数据采集方法

    公开(公告)号:CN109753502B

    公开(公告)日:2023-05-12

    申请号:CN201811639608.3

    申请日:2018-12-29

    IPC分类号: G06F16/215 G06F16/25

    摘要: 本发明提供一种基于NiFi的数据采集方法,属于数据采集技术领域,大数据量的数据抽取,并在抽取过程中对数据进行清洗、转换和匹配。运用NiFi工具,能简化用户操作,实现一整套流程,展现形式图形化,操作简单高效,运用HTTP协议。如果不需要用户直接对流程进行操作,还可以进行二次封装,向NiFi提供相应的报文信息,就可以创建组件,简化用户操作。

    一种基于离线地图瓦片特定标记添加的方法

    公开(公告)号:CN109726260B

    公开(公告)日:2023-05-12

    申请号:CN201811639649.2

    申请日:2018-12-29

    IPC分类号: G06F16/29

    摘要: 本发明提供一种基于离线地图瓦片特定标记添加的方法,属于软件‑数据处理技术领域,离线地图通过将日常中经常用到的地图保存成图片并通过软件自带功能进行切片,切片过程中选择切片方案,根据所选方案不同,地图级别,将整个地图切割成不同的瓦片,并重新拼接,使开发人员通过简单的配置本地文件,就可以在离线(即断网)的情况下使用地图。地图瓦片分层切割通过经纬度在地图的特定位置添加相应脚本文件,通过iframe将外部的图表文件、相关界面等引入到地图中来,让地图展示更加全面,美观,更直观的展示企业信息。

    基于DAC定时任务发送日报的方法及系统

    公开(公告)号:CN112685164B

    公开(公告)日:2023-04-04

    申请号:CN202110021634.5

    申请日:2021-01-08

    摘要: 本发明公开了一种基于DAC定时任务发送日报的方法及系统,属于数据分析技术领域,本发明要解决的技术问题为如何解决数据挖掘处理中对于数据难以采集和提炼的难题,采用的技术方案为:该方法是利用java开发技术,通过quartz定时任务组件定时获取元数据中的有用数据,组合数据形成报告,同时利用接口技术向微信上给指定的员工每天定时发送日报;具体如下:元数据采集、数据清洗及关联分析;quartz定时抽取;发送微信日报;分析执行计划并优化调整。该系统包括预处理单元、抽取单元、发送单元及分析及优化单元;预处理单元用于通过采集DAC工具后台元数据仓库中存储的数据,并进行关联分析,再次加工汇总得到结果数据;抽取单元用于通过quartz定时组件定时抽取数据。