-
公开(公告)号:CN104965763A
公开(公告)日:2015-10-07
申请号:CN201510432304.X
申请日:2015-07-21
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48
Abstract: 本发明提供一种老化感知的任务调度系统,所述任务调度系统包括老化探测模块、软件再生模块、任务调度模块、调度策略模块和资源信息库模块;所述老化探测模块与资源信息库模块双向连接,所述资源信息库模块与软件再生模块和任务调度模块均单向连接,所述调度策略模块与任务调度模块单向连接。本发明提供一种老化感知的任务调度系统,在任务调度和运行时,能够实时感知资源节点的老化状态,及时恢复资源节点的服务能力,提高了任务执行效率。
-
公开(公告)号:CN104965762A
公开(公告)日:2015-10-07
申请号:CN201510432283.1
申请日:2015-07-21
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种面向混合任务的调度系统,包括模型解析器、执行序列生成器、信息收集器和代理模块;模型解析器与执行序列生成器单向连接,执行序列生成器与信息收集器和代理模块之间均双向连接。本发明提供的面向混合任务的调度系统,任务调度时考虑了任务执行的周期性时序特征,即对于需要长时间不间断运行的任务可实现“一次调度、多次运行”,避免了对一类任务的频繁调度、下发,降低了任务调度带来的额外计算成本,极大降低了任务的频繁下发给网络通信带来的压力;并将如何为同一组周期性任务分配最少的资源来执行看作一个背包问题,提出了相应的算法,以求得最小的虚拟资源集合来完成任务的执行。
-
公开(公告)号:CN104079502A
公开(公告)日:2014-10-01
申请号:CN201410302274.6
申请日:2014-06-27
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L12/865
Abstract: 本发明提供一种多用户多队列调度方法,具体包括以下步骤:建立多用户多队列调度模型;调度服务器接收用户提交的作业,并对作业进行缓存;调度服务器对作业进行周期性循环调度,并将作业下发给资源对应的服务器。本发明提供一种多用户多队列调度方法,在任何调度场景下,它既可以避免用户间的调度抢占,又能在兼顾作业优先级的前提下,保证低优先级作业一定的调度机率。
-
公开(公告)号:CN103235777A
公开(公告)日:2013-08-07
申请号:CN201210585186.2
申请日:2012-12-28
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明提供一种用户需求导向的互联网舆情获取方法,包括:用户通过用户交互界面登录进入互联网舆情获取系统,系统根据互联网数据采集与存储平台里存储的用户的舆情需求通过用户交互界面向用户展示舆情信息;互联网数据采集与存储平台里存储的用户的舆情需求包括采集的用户的显式舆情需求和隐式舆情需求,显式舆情需求为用户通过用户交互界面的任务定制界面输入的舆情需求,隐式舆情需求为系统分析后得到的用户的舆情需求。本发明提供的一种用户需求导向的互联网舆情获取方法,用户可以通过交互界面浏览信息,在信息浏览的过程中可逐步精细化自己的舆情需求,并可以在浏览信息时随时定制一条舆情获取任务。
-
公开(公告)号:CN103107899A
公开(公告)日:2013-05-15
申请号:CN201110353990.3
申请日:2011-11-10
Applicant: 天津市国瑞数码安全系统有限公司 , 国家计算机网络与信息安全管理中心
IPC: H04L12/24
Abstract: 本发明公开了一种对用户、授权和审计进行分立、分级管理的系统及方法,该方法实现的系统采用分层管理的方法,通过用户管理、授权管理和审计管理三权分立的策略,以及上级管理员指定下级管理员的管理范围和管理策略(包括管理员、时间、地址、传递性、对象属性等)的方式,实现对访问者灵活的身份认证、操作鉴权、安全审计。本方法实现的系统具有控制灵活、安全性高等特点,解决系统管理员的权力过大,系统的安全性非常脆弱的问题。
-
公开(公告)号:CN109743414B
公开(公告)日:2021-12-31
申请号:CN201910122412.5
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L29/12
Abstract: 本发明公开了一种利用冗余连接提高地址翻译可用性的方法及计算机可读存储介质,方法包括:接收上行数据包,查询连接追踪表,如不存在连接,则根据网络会话建立连接的下行映射数量,从公网IP缓存中选择相应数量的公网IP,使用公网IP将上行包进行源地址翻译;保存公网IP和其所对应的下行映射,在收到网络会话返回的第一个下行数据包时,查询下行数据包所对应的下行映射,将该下行映射确定为网络会话的正式下行映射,将对应的公网IP确定为网络会话的正式出口IP;将网络会话的所有上行包均使用正式出口IP进行源地址分翻译,仅处理匹配正式下行映射的下行数据包,将其他冗余映射的下行数据包丢弃;将上下行映射信息保存在连接追踪表中。
-
公开(公告)号:CN109815219B
公开(公告)日:2021-11-23
申请号:CN201910119266.0
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种支持多数据库引擎的数据生命周期管理的实现方法,所述方法包括:通过Hive MetaStore服务,创建具有生命周期的依赖Hive元数据的Hive表、HBase表和ElasticSearch表;HBase、ElasticSearch集群对SSD盘和HDD盘进行存储;定期调用生命周期管理服务,读取Hive MetaStore服务中表元数据的生命周期信息和分区信息,计算是否存在过期的分区数据,如果存在,根据表元数据信息判断表的类型,依据不同表数据存储类型,调用相应的数据生命周期管理服务,根据表元数据中规则,自动对过期的数据进行删除或迁移。
-
公开(公告)号:CN109857535B
公开(公告)日:2021-06-11
申请号:CN201910122390.2
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48 , G06F9/50 , G06F16/242 , G06F16/25
Abstract: 本发明公开了一种面向Spark JDBC的任务优先级控制的实现方法及装置,所述方法包括:SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列;接收用户通过Jdbc接口下发的指定优先级队列命令,完成Jdbc会话级别的优先级设置;接收用户提交的检索SQL,将SQL语句经过多个分析规划过程后生成一个Spark Task集合并被添加到相应名称的目标优先级队列中;通过资源调度器根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配,将Spark Task分发到各个计算节点上的Task执行器上进行执行。
-
公开(公告)号:CN109902126A
公开(公告)日:2019-06-18
申请号:CN201910119268.X
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/27 , G06F16/2455
Abstract: 本发明公开了一种支持HIVE自动分区的加载系统及其实现方法,所述方法包括:数据源模块,用于接收数据,对数据进行预备分类,按照数据的来源和数据头上所携带的配置信息进行预处理,得到数据所需要写入的对应的HIVE表,将映射关系放入到数据头中,并将数据放入到数据通道;数据通道,用于作为所述数据源模块和所述输出接口模块之间的数据通道;输出接口模块,用于从数据通道中获取数据,对数据反序列化,进行进一步的校验,依据加载系统在HIVE中所获取的分区设置计算出分区,将与数据所对应的数据库名和表名一起作为数据写入hdfs中的key值,依据该key值,从文件写入管理模块中获取对应的文件句柄,将数据写入至hdfs或者其他存储介质中。
-
公开(公告)号:CN109885642A
公开(公告)日:2019-06-14
申请号:CN201910119254.8
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种面向全文检索的分级存储方法及装置,所述方法包括:获取SQL语句,创建全文检索表,并将所述全文检索表持久化到Zookeeper中;配置ElasticSearch集群中一部分节点使用SSD盘,另一部分节点使用SATA盘,并在每个节点上安装自定义的ElasticSearch插件;数据加载工具通过ElasticSearch集群的调用接口API将文档数据加载到ElasticSearch集群中,通过所述ElasticSearch插件对请求进行过滤,并使用预先存储的全文检索表中的元数据进行索引创建;通过所述ElasticSearch插件运行监听策略,监听Zookeeper中表的元数据信息的变化,并应用分级存储策略,执行定时回滚策略,将回滚任务下发给ElasticSearch集群。
-
-
-
-
-
-
-
-
-