一种基于BSP模型的实时图数据处理系统及方法

    公开(公告)号:CN103336808B

    公开(公告)日:2017-12-15

    申请号:CN201310256296.9

    申请日:2013-06-25

    IPC分类号: G06F17/30

    摘要: 本发明涉及一种基于BSP模型的实时图数据处理系统和方法,所述系统包括:数据存储单元用于对图数据预处理,并按“内存存储—分布式内存存储—分布式文件系统”的三层存储结构存储,基于图数据生成作业;图数据查询统计单元用于对图数据进行查询和统计,将数据存储单元生成的作业分解为多个任务,以均衡的方式分发给相应计算节点,再统计每个任务的计算结果,并合并所有任务的计算结果作为最终结果返回给用户;图数据分析处理单元用于使各计算节点通过迭代计算执行分解出的任务,并通过消息传递实现每次迭代计算的同步,并输出任务的计算结果。所述方法基于该系统实现实时图数据处理,均具有访问高效、保持集群负载均衡、加速BSP模型执行效率等优点。

    一种电网历史场景调阅方法及系统

    公开(公告)号:CN103617492A

    公开(公告)日:2014-03-05

    申请号:CN201310612869.7

    申请日:2013-11-26

    IPC分类号: G06Q10/06 G06Q50/06 G06F9/455

    CPC分类号: Y04S10/54

    摘要: 本发明涉及一种电网历史场景调阅方法及系统,包括:实时采集电网数据并存储在分布式数据库中;当有客户端想调阅一个历史场景时,客户端发送调阅请求;根据调阅请求建立并启动一个虚拟机;按照调阅请求为此虚拟机配置应用系统的基本运行环境;按照调阅请求将所需的电网数据从分布式数据库中装载入建立的虚拟机,生成相应的电网历史场景;向客户端反馈历史场景加载完成的信息及相应的客户端配置信息;客户端根据接收的客户端配置信息进行配置,进而通过超链接方式访问历史场景生成服务器中相应的历史场景;本发明通过虚拟化资源管理技术和分布式数据管理技术实现电网历史场景的调阅,其可实现动态在线的、任意时刻电网历史运行场景的调阅。

    面向分布式编程框架的资源管理系统

    公开(公告)号:CN102866918A

    公开(公告)日:2013-01-09

    申请号:CN201210262881.5

    申请日:2012-07-26

    IPC分类号: G06F9/50

    摘要: 本发明涉及一种面向分布式编程框架的资源管理系统。该面向分布式编程框架的资源管理系统包括主部分和从部分,从部分用于启动编程框架执行器,监控编程框架执行器的运行状态,向主部分报告该从部分的资源使用信息和该从部分上编程框架执行器的资源使用信息;主部分包括:收集器,用于接收并保存从部分的资源使用信息和从部分上编程框架执行器的资源使用信息,保存集群资源信息,收集器中包括监控器,用于监控从部分上编程框架执行器的资源使用信息,根据编程框架定制的资源调整决策触发器向调度器发送为编程框架增加或减少资源的任务;调度器,用于调度、下发和控制监控器发送的任务。本发明具有良好的兼容性与灵活性。

    一种基于无标记数据迁移的跨模态检索方法及系统

    公开(公告)号:CN110647904A

    公开(公告)日:2020-01-03

    申请号:CN201910707010.1

    申请日:2019-08-01

    IPC分类号: G06K9/62 G06F16/903

    摘要: 本发明提出一种基于无标记数据迁移的跨模态检索方法及系统,将经过聚类的无标注信息的单模态图像和文本数据作为迁移源域,有标注信息的跨模态数据集作为目标域,通过迁移学习将源域迁移至目标域的跨模态数据集,扩大训练数据规模,增加跨模态数据的语义信息,学得一个更好的共同空间。本发明很好地解决了跨模态数据集数据规模小的问题,更加符合实际用户查询不在预定义类别范围内的情况;同时,可以更好地提取不同模态数据的上层语义信息,克服模态之间的异构性差异,增加模态之间的相似性,提高跨模态检索准确率。

    一种面向小作业优化的并行处理系统

    公开(公告)号:CN103279390B

    公开(公告)日:2016-09-28

    申请号:CN201310210251.8

    申请日:2013-05-30

    IPC分类号: G06F9/50

    摘要: 本发明涉及一种面向小作业优化的并行处理系统,由下至上依次包括资源管理模块、资源伸缩模块、计算系统模块、模型翻译模块和作业逻辑模块;所述资源管理模块实现对整体系统的资源管理并提供管理平台;所述资源伸缩模块在管理平台上为计算系统模块提供工作节点;所述计算系统模块是系统的运行时的环境,用于实现在一个JVMJava虚拟机中的不同线程之间直接共享数据;所述模型翻译模块用于将作业逻辑翻译成运行环境中可识别的工作流;所述作业逻辑模块用于设置数据传输模式和逻辑表达模型。本发明实现了一套编程可扩展、资源可伸缩的并行处理系统Binos,以及Binos‑HashMR和Binos‑FileMR两套不同的MapReduce编程模型,通过数据存储、传输、处理逻辑等相关方面的优化,显著提高了小作业的执行效率。

    一种将关系型数据迁移至HBase的方法及系统

    公开(公告)号:CN103631907B

    公开(公告)日:2016-09-07

    申请号:CN201310612192.7

    申请日:2013-11-26

    IPC分类号: G06F17/30

    摘要: 本发明涉及一种将关系型数据迁移至HBase的方法及系统,包括关系数据库、HBase数据库、SQL解析模块、查询转换模块和数据模式管理模块;通过在HBase数据库中设计映射关系表,存储原关系数据库中模式信息与HBase数据库中模式信息的映射关系,完整保留了原关系数据库中数据表格的模式信息,且可灵活配置映射方式,为用户提供了更多的选择,且HBase的高效数据组织方式,大大提高了访问性能,节省了存储空间,同时提供数据导出功能,实现与其他子系统的数据交互,另外,数据查询功能支持SQL查询,将SQL查询语句转换成HBase数据库的查询语句,使用户更平滑地过渡到HBase数据库。