基于蜂群思维的分布式计算方法

    公开(公告)号:CN105656989A

    公开(公告)日:2016-06-08

    申请号:CN201510917914.9

    申请日:2015-12-10

    Inventor: 常毅 杨伟锋

    CPC classification number: H04L67/10

    Abstract: 一种基于蜂群思维的分布式计算方法,将计算逻辑拆分成可并行工作的组,然后向各组投入相应的计算资源进行工作,并在工作过程中建立了信息看板和系统状态监控汇报的机制,让每个计算节点都能了解到系统状态,并给予计算节点智能选择的权利,由各个节点自主分配工作,共同为集群整体出力,达到每个节点的工作效率最大化,既没有忙不过来的节点,也没有闲着不干活的节点,由集群整体来自动调节,自动克服系统故障,自动解决系统短板,达到系统吞吐量始终维持在较高水平,极大的减少了运维干预工作。

    开放式的运营平台框架结构及运行方法

    公开(公告)号:CN105554082A

    公开(公告)日:2016-05-04

    申请号:CN201510910404.9

    申请日:2015-12-10

    Inventor: 王焱 杨伟锋

    CPC classification number: H04L67/1036 H04L67/42

    Abstract: 一种开放式的运营平台框架结构及运行方法中,框架结构为分布式,通过使用HTTP重定向、 反向代理负载均衡、IP负载均衡、DNS负载均衡以实现WEB负载均衡。本发明的开放式的运营平台框架结构及运行方法具有安全、稳定、高效、友好、易用等特性,支持海量访问的稳定运营和快速响应。该框架为用户提供唯一的访问入口和安全验证,保护了用户的隐私,极大的方便了用户的使用;对外提供了开放的API协议服务,方便第三方开发者多人同时协作进行开发,保证了开发的快速和高效;各个应用可以独立部署,快速接入平台,开发者不受开发语言的限制,更好的支持WEB和移动设备等运行环境。

    基于统一认证协议的mvc框架结构及其运行方法

    公开(公告)号:CN105549972A

    公开(公告)日:2016-05-04

    申请号:CN201510917589.6

    申请日:2015-12-10

    Inventor: 王焱 杨伟锋

    CPC classification number: G06F8/00 G06F8/22 G06F21/31

    Abstract: 一种基于统一认证协议的mvc框架结构及其运行方法中,将一个应用程序的输入、处理和输出进行分离,分为模型层、视图层和控制层,用一种业务逻辑、数据、界面显示分离的方法组织代码,将业务逻辑聚集到一个部件里面,在改进和个性化定制界面及用户交互的同时,不需要重新编写业务逻辑。本发明的基于统一认证协议的mvc框架结构具有安全、稳定、高效、易用、可扩展等特性,支持海量访问的系统稳定和开发的灵活性,部署简单快速。框架遵循REST思想,对外通过HTTP协议开放URL映射交互接口,降低开发的复杂性,便于分工开发,提高了系统的可伸缩性。

    基于图数据结构的检索词优化方法

    公开(公告)号:CN105574085A

    公开(公告)日:2016-05-11

    申请号:CN201510910407.2

    申请日:2015-12-10

    Inventor: 涂君兰 杨伟锋

    CPC classification number: G06F17/30864 G06F17/30976

    Abstract: 一种基于图数据结构的检索词优化方法,从图形的规则中抽取多个词集以及这些词集间的关系;整理词集和关系,为每个词集命名,将词集和关系简化成多行与或表达式;分析每行表达式,给每个词数集赋上一个权值;通过分词和倒文档率识别词性,从而准确的分析出词集与主题的关联度,从而能够从成千上万条规则中快速提取出最小且需求关联度最高的检索词集,其中在标引流程中获得较高的召回率,覆盖逻辑表达式最全且最小词数集的优化方法,使得最终产生的采集任务量减少,从而提高企业的生产效率。

    基于视觉的互联网正文页标题识别方法

    公开(公告)号:CN105512107A

    公开(公告)日:2016-04-20

    申请号:CN201510918241.9

    申请日:2015-12-10

    Inventor: 李天与 杨伟锋

    CPC classification number: G06F17/2745

    Abstract: 一种基于视觉的互联网正文页标题识别方法,输入为经过Chrome内核下载和渲染后的DOM树对象,由于DOM树包含有网页元素的渲染后的style信息,便于分析,通过对每一个HTML元素,进行必要权判断和比例权计算,以得出正文页中的标题并输出为最可能的正文标题的Element对象,本发明在运行中模拟人类的识别方式,能够高效、准确地识别和区分互联网正文页中标题元素。

    基于虚浏览器下载的互联网大数据采集系统

    公开(公告)号:CN105491131A

    公开(公告)日:2016-04-13

    申请号:CN201510910412.3

    申请日:2015-12-10

    Inventor: 李天与 杨伟锋

    CPC classification number: H04L67/06 H04L67/02 H04L67/1002 H04L67/2842

    Abstract: 一种基于虚浏览器下载的互联网大数据采集系统,由顶至下,包括由虚浏览器层、负载均衡层和HTTP代理层;其中虚浏览器层为系统的顶层,由虚浏览器集群构成,发出HTTP请求;负载均衡层为系统的中间层,虚浏览器层通过负载均衡层连接HTTP代理层;HTTP代理层为系统的底层,依HTTP请求返回HTTP响应。过使用虚浏览器作为下载客户端,利用虚浏览器的网页渲染和脚本解析引擎,可以直接获取到JavaScript脚本在Dom上执行、渲染后的结果。负载均衡层提高了系统的效率,保证了系统的鲁棒性。而由于系统中的HTTP代理服务和虚浏览器处于同一子网,能够极大避免外部带宽开销和下载耗时开销。

    基于HBase的MAP数据动态切分方法

    公开(公告)号:CN105589931A

    公开(公告)日:2016-05-18

    申请号:CN201510910420.8

    申请日:2015-12-10

    Inventor: 庞晓曦 杨伟锋

    CPC classification number: G06F17/30584

    Abstract: 一种基于HBase的MAP数据动态切分方法,在提交任务之前,通过获得region的对应信息即regioninfo,而获得每个region的存储文件大小StorefileSize以及该region的开始rowkey和截止rowkey;按以下公式计算切分的份数splitCount:splitCount=StorefileSize/region数据的实际大小+1,再按照切分的份数,将开始和截止rowkey范围内的region平均分配为多个;最后将原本一个Map执行的任务,分为多个Map任务执行。本发明在保证存储性能和资源充分的情况下,能够大幅度提高遍历方式下,数据挖掘和计算的性能,平均能够提高4~6倍,任务整体时间相应缩短。

    基于HBase的Map任务进度计算方法

    公开(公告)号:CN105512293A

    公开(公告)日:2016-04-20

    申请号:CN201510910410.4

    申请日:2015-12-10

    Inventor: 庞晓曦 杨伟锋

    CPC classification number: G06F17/30545

    Abstract: 一种基于HBase的Map任务进度计算方法,在存储中构造rowkey时,对应每个Map任务给定一段连续递增的rowkey范围;通过将当前读取到数据的rowkey在整个任务rowkey范围中的位置即可计算出该Map任务的进度,进而将Map的进度对外显示出来,使用者能够通过该进度实时了解任务的完成情况,从而获知程序的执行瓶颈,便于对程序进行优化。

Patent Agency Ranking