一种基于并行流处理的ICT系统运行日志分析方法

    公开(公告)号:CN111949633A

    公开(公告)日:2020-11-17

    申请号:CN202010767753.0

    申请日:2020-08-03

    Abstract: 本发明公开了一种基于并行流处理的ICT系统运行日志分析方法。本发明建立的基于RDMA的并行分布式日志处理平台,当数据流在Spark集群中传输时,数据流直接从本地节点内存传输到目的节点内存,不需要通信双方操作系统的介入,大大降低了CPU占用率和网络时延。提出的在线日志流解析方法,设置了缓存模板集,经过两次过滤和结果汇总后的筛错重解析,显著增强了日志解析算法的准确性和鲁棒性。日志解析结果汇总后,通过基于元数据映射的结构化日志压缩方法,将所有元数据顺序编码,映射关系字典存储,将元数据编码映射后直接压缩,显著降低了日志存储空间。

    一种基于多模态学习的电力攻击识别方法

    公开(公告)号:CN111786979A

    公开(公告)日:2020-10-16

    申请号:CN202010587171.4

    申请日:2020-06-24

    Abstract: 本发明涉及一种基于多模态学习的电力攻击识别方法。本发明包含三部分内容:分布式多模态数据监控单元;模态队列和多模态数据监控中台,三部分的步骤依次实现了多模态监控数据的生成、发送与攻击判断。分布式多模态数据监控单元,利用覆盖层网络实现集群中各局域网的多模态数据生成与采样同步。模态队列利用并行模态队列算法,约束缓存多模态数据的发送。多模态数据监控中台用于判断、存储、查阅多模态监控数据,其中判断过程利用了多源注意力门控循环记忆网络算法,以滑动窗口的方式拉取多模态数据,实现时序感知的多模态电力攻击的判断。本发明可以有效减少监控运行时对原生系统服务的负担,并提升电力攻击检测的效果。

    公有云系统性能一致性调整方法

    公开(公告)号:CN111612373A

    公开(公告)日:2020-09-01

    申请号:CN202010475736.X

    申请日:2020-05-29

    Abstract: 本发明公开了一种公有云系统性能一致性调整方法。本发明首先建立基于线性回归模型的云系统性能评价指标,用于计算不同测试场景下云系统的性能和判断云服务提供商是否提供一致的性能;其次检查云平台配置的完整性,消除由于硬件配置和软件配置不一致所带来的性能误差;然后使用网络时间协议(NTP)来同步网络中各个虚拟机的时间。最后清除宿主机和虚拟机的处理器缓存,消除由于不同缓存命中率所带来的误差。通过本发明可以消除影响云系统性能的不确定因素,使得云系统可以为租户提供从一而终的性能,显著提高的云租户的服务体验,同时降低了云平台的投诉率保证了云平台的信誉。

    一种边缘环境基于时间域的加密及其策略更新方法

    公开(公告)号:CN110933052A

    公开(公告)日:2020-03-27

    申请号:CN201911126098.4

    申请日:2019-11-18

    Abstract: 本发明公开了一种边缘环境基于时间域的加密及其策略更新方法。该方法具体包括系统初始化过程、用户注册过程、数据加密过程、用户私钥生成过程、密文解密过程。考虑时间是现实应用中的一个重要因素,本发明将时间信息加入到了属性基加密方法中,使得数据的访问控制可以更加灵活变通。其次,由于边缘计算分布式的计算和存储资源结构,可以契合多授权机构的架构和外包解密的特性,很好的分担了终端设备的计算压力,减少了这些设备的能源损耗,并使这个属性基加密系统更加安全可靠。本发明还提出了一种高效的动态策略更新方法,使得数据拥有者不再需要从网络中赎回该密文,再重新加密发布,就可以更新旧密文,保证数据的机密性。

    一种降低大规模分布式机器学习系统能耗的方法

    公开(公告)号:CN109271015A

    公开(公告)日:2019-01-25

    申请号:CN201811177821.7

    申请日:2018-10-10

    Abstract: 本发明公开了一种降低大规模分布式机器学习系统能耗的方法。本发明通过分类器对分布式机器学习系统的负载进行分类识别、状态预测,并通过减少分布式参数服务器间的通信加速任务运行来降低整个分布式机器学习系统的能耗。本发明的方法包含两部分:机器学习负载预测与类型识别方法、分布式机器学习节点间参数“懒同步”机制。本发明通过只将显著更新传递到远程数据中心来减少广域网通信的参数同步机制可以有效减少系统等待时长,加快机器学习收敛速率。对机器学习负载的预测和类型的判别有助于提高工作机的利用率,避免大量工作机开启后处于闲置状态。以上方法缩短了机器学习任务的执行时间,提高了工作机利用率,大大降低了系统能耗。

    多虚拟机系统中一种主动共享的内存超量分配方法

    公开(公告)号:CN104915151A

    公开(公告)日:2015-09-16

    申请号:CN201510296348.4

    申请日:2015-06-02

    Abstract: 本发明涉及一种虚拟化系统主动共享的内存超量分配方法。目前的虚拟化系统为了满足客户虚拟机的峰值性能,对内存常采用过量分配策略,易造成低负载下内存资源的浪费。本发明方法包含三部分的内容:基于平铺记录法和差量链表记录法的客户虚拟机内存页面标记方法、基于虚拟通道的主动内存共享方法和基于上述两个方法的多虚拟机内存超量分配方法。通过本发明提供的虚拟化系统主动共享的内存超量分配方法,可以在系统内存高度竞争的情况下有效缓解系统资源的竞争程度,显著提高整个多租户云计算环境下客户虚拟机系统的性能和服务质量。

    云存储系统中基于预判性绿色数据分类策略的降耗方法

    公开(公告)号:CN103616944A

    公开(公告)日:2014-03-05

    申请号:CN201310492778.4

    申请日:2013-10-18

    Abstract: 本发明公开了一种云存储系统中基于预判性绿色数据分类策略的降耗方法。本发明将文件的访问率与阈值比较,访问率大于热阈值就是热数据,访问率小于冷阈值就是冷数据,介于冷热阈值之间的数据则将其进行预判,当某时间段热时,就将其迁移至热区域,否则将其放入冷区域。如果有新数据进行写操作,且原云存储系统不存在该数据,将该数据与原云存储系统中的数据进行关联度分析,找到与其相关度最高的数据,将新数据放入与旧数据相同类型的磁盘中。本发明很好地将数据文件进行合理的分类,通过合理有效的分类基本避免了在不合理分类的情况下可能出现的热文件在冷区域,冷文件在热区域中的能源消耗和文件读取时延增加的情况。

    云存储系统中一种能耗自适应的副本管理方法

    公开(公告)号:CN103530317A

    公开(公告)日:2014-01-22

    申请号:CN201310416665.6

    申请日:2013-09-12

    CPC classification number: Y02D10/45 G06F3/0625 H04L67/1097

    Abstract: 本发明公开了一种云存储系统中一种能耗自适应的副本管理方法。本发明首先以最优化数据访问速度为目标设计合理的数据分块机制,然后以保证数据可用性为目的构建最少副本个数的决策模型,同时设计具有能耗感知的副本放置策略,最后基于上述机制和策略构建具有能耗自适应的升降档机制。与现有技术相比,本发明的理论分析和案例实施的结果均表明:本发明能够在满足用户QoS和数据可用性要求的前提下,通过感知系统的负载在云存储系统的磁盘层面进行能耗升降档以达到最大程度地降低云存储系统中能耗的效果。

Patent Agency Ranking