一种数据库流式备份断点续传的方法、装置、设备及介质

    公开(公告)号:CN118555287A

    公开(公告)日:2024-08-27

    申请号:CN202410753227.7

    申请日:2024-06-12

    摘要: 本申请公开了一种数据库流式备份断点续传的方法、装置、设备及介质,涉及数据库运维技术领域,包括:通过启动预设物理备份工具进行数据库快照,并基于数据库快照信息将本批次的待备份数据文件列表保存至服务器本地的预设列表文件;基于预设列表文件、令牌桶算法进行文件压缩、传输、状态标注,直至文件均被成功上传至备份服务器;若在预设时间段内再次启动预设物理备份工具,则判断服务器本地是否存在上一批次的预设列表文件及数据库快照信息;当判断结果表明存在时进行备份类型选择提示,若接收到的用户选择结果为断点续传,则基于上一批次的预设列表文件、对应的数据文件状态标注信息及数据库快照信息触发断点续传流程。提高了数据库备份效率。

    一种数据传输服务的轻量化部署实现方法及装置

    公开(公告)号:CN118093704A

    公开(公告)日:2024-05-28

    申请号:CN202410487411.1

    申请日:2024-04-23

    摘要: 本发明涉及数据传输服务技术领域,具体提供了一种数据传输服务的轻量化部署实现方法及装置,以Docker容器方式部署运行,首先搭建数据库代理模块,对所有支持数据库连接进行验证,获取库表及权限验证;进入前端模块提供任务管理界面,任务管理模块调度创建任务所需的资源和数据库模块;最后数据库访问模块进行数据库访问,消息中间件模块进行任务数据和任务监控消息的传输。与现有技术相比,本发明能够简化部署步骤,减少服务部署时间,最大化的技术复用,减少开发工作量。

    一种基于Ansible实现混合架构部署大数据集群的方法

    公开(公告)号:CN117692323A

    公开(公告)日:2024-03-12

    申请号:CN202311647684.X

    申请日:2023-12-04

    IPC分类号: H04L41/0806 H04L41/08

    摘要: 本发明涉及自动化运维技术领域,具体为一种基于Ansible实现混合架构部署大数据集群的方法,包括以下步骤:环境准备;Ansible配置和角色创建;撰写Playbook;执行安装并验证结果;进行高可用性配置;有益效果为:本发明提出的基于Ansible实现混合架构部署大数据集群的方法,使用Ansible在x86和aarch64混合架构下进行Ambari安装以及Ambari管理下的大数据组件的安装;实现混合架构下Ambari集群及其相关大数据组件的自动化部署和管理;根据自己的需求对本方案进行适当调整,以满足特定场景的需求。

    一种企业级大数据组件及应用监控和告警的方法

    公开(公告)号:CN116820874A

    公开(公告)日:2023-09-29

    申请号:CN202310627769.5

    申请日:2023-05-29

    IPC分类号: G06F11/30 G06F11/32

    摘要: 本发明涉及运维监控系统技术领域,具体为一种企业级大数据组件及应用监控和告警的方法,包括以下步骤:将多个Exporter注册到Consul中,其中Consul用于实现分布式系统的服务发现与配置;Prometheus支持与Consul集成,自动发现注册到Consul中Exporter实例的target,实现自动读取到监控对象的指标;有益效果为:本发明提出的企业级大数据组件及应用监控和告警的方法,基于Prometheus对接自定义开发的HDFS、HBase、Hive等多个大数据组件的Hadoop_exporter以及开源的Node_exporter、Mysql_exporter等实现多种监控目标数据的采集。Exporter注册到Consul中,Prometheus周期性轮询并发现注册到Consul相关的Exporter的target。本发明通过接入自定义研发Hadoop_exporter和开源Exporter,并对监控指标个性化处理,有效降低人工监控指标干预,实现了自动化监控程度高。

    一种基于大数据的大模型训练与优化方法及系统

    公开(公告)号:CN118821890A

    公开(公告)日:2024-10-22

    申请号:CN202410877077.0

    申请日:2024-07-02

    摘要: 本发明涉及大数据处理技术领域,具体为一种基于大数据的大模型训练与优化方法及系统,数据预处理,对大规模数据进行清洗、去重、分类预处理操作,以确保数据的质量和可用性;模型训练,使用预处理后的数据对大模型进行训练;模型优化,对训练好的大模型进行优化,以提高模型的性能和效率;模型部署,将训练和优化好的大模型部署到实际应用中;有益效果为:本发明提出的基于大数据的大模型训练与优化方法及系统,通过实现高效的分布式数据处理和大模型训练技术,使得本发明能够更好地应对大规模数据的处理和分析需求,广泛应用于智能推荐、自然语言处理、计算机视觉等领域,为人工智能技术的发展和应用提供有力支持。

    一种云平台的数据库诊断方法及装置

    公开(公告)号:CN118093252B

    公开(公告)日:2024-08-09

    申请号:CN202410517001.7

    申请日:2024-04-28

    IPC分类号: G06F11/07 G06F11/30 G06F11/32

    摘要: 本发明涉及数据库运管技术领域,具体提供了一种云平台的数据库诊断方法及装置,首先,进行数据收集,获取当前region或某一用户可访问的数据库实例纳管信息、及数据库实例运行状态信息;然后,进行实时诊断分析,自动对接入的不同数据库提供不同的诊断任务,通过DiagTask方法对诊断请求进行分流;最后,进行诊断结果的可视化展示,包括诊断任务概览的展示、诊断数据及结果的展示。与现有技术相比,本发明能够具有实时性、准确性的优势,通过可视化的结果展示,改善了用户的操作体验和响应效率。

    一种预写式日志离线解析方法、装置、设备及介质

    公开(公告)号:CN118445306A

    公开(公告)日:2024-08-06

    申请号:CN202410651054.8

    申请日:2024-05-24

    摘要: 本申请公开了一种预写式日志离线解析方法、装置、设备及介质,涉及日志解析领域,包括:服务器通过离线解析预写式日志的离线进程基于数据库中的全部元数据信息生成数据字典文件,并在监测到针对数据库的DDL操作时将DDL语句按照时间顺序记录至DDL文件中,基于发生变化的元数据信息生成新的数据字典文件;对若干预写式日志文件进行并行解析,以在对任一预写式日志文件进行解析的过程中,基于任一预写式日志文件对应的记录时间查找相应时间的目标数据字典文件,以对任一预写式日志文件进行解析得到解析结果。本申请采用离线进程避免在数据库中安装插件,并且基于与预写式日志的记录时间对应的数据字典文件解析日志,保证日志解析的正确性。

    数据库审计日志采集方法及装置、介质、设备

    公开(公告)号:CN118093541A

    公开(公告)日:2024-05-28

    申请号:CN202410480077.7

    申请日:2024-04-22

    摘要: 本发明提供一种数据库审计日志采集方法及装置、介质、设备,属于数据处理技术领域。方法包括:在预设数据库的实例节点上部署日志采集客户端;预先在所述日志采集客户端设置定时任务和审计日志采集脚本;判断所述预设数据库的实例节点是否正常运行;若是,则在接收到所述预设数据库的实例控制台发送来的日志审计开启指令时,执行日志审计方法,启动所述日志采集客户端,通过所述定时任务定时执行所述审计日志采集脚本,以使所述审计日志采集脚本采集所述预设数据库的审计日志,并将所述审计日志进行格式化后输出至预设路径进行存储。本发明实施例实现审计日志的采集工作,便于后续利用审计日志帮助用户事后定位事件原因,提供审计日志查询服务。

    一种基于区块链的医疗信息服务方法

    公开(公告)号:CN118821214A

    公开(公告)日:2024-10-22

    申请号:CN202410918578.9

    申请日:2024-07-10

    摘要: 本发明公开一种基于区块链的医疗信息服务方法,涉及区块链技术领域,包括:将患者的基础信息和医疗信息录入区块链平台;通过智能合约,实现对患者的基础信息和医疗信息的上链内容控制和权限控制;制定一个标准化数据格式,采用HL7标准定义需要流转贡献的数据的结构、编码和传输规范,同时,定义一个统一的API接口,实现不同科室医疗系统之间的数据交换和互操作;通过审计日志记录功能,记录医疗系统产生的日志数据,并存储到审计数据库中。本发明可以为患者的医疗流程进行全方位的智能化监控,减少医疗系统工作时间,确保了患者全流程重要数据的记录和不可篡改。