一种分布式爬虫集群中的节点和系统

    公开(公告)号:CN103067521A

    公开(公告)日:2013-04-24

    申请号:CN201310006486.5

    申请日:2013-01-08

    摘要: 本发明公开了一种基于结构化p2p的去中心化分布式爬虫节点和系统。基于结构化p2p的分布式爬虫集群中的节点包括底层覆盖网,基于p2p组织方式,执行节点间分发url和接收url的协议;爬行模块,基于被分发的url,负责从互联网抓取对应的资源;控制中心,执行分发url和接收url的功能。本发明实施例利用结构化p2p算法kademlia的特点,巧妙地解决了分布式爬虫系统中的去重和负载均衡的问题,实现了系统良好的可拓展性和容错性,可以为大规模分布式的爬虫系统提供通用的设计方法。

    基于(d,k)摩尔图的存储网络及数据读写方法

    公开(公告)号:CN101923558B

    公开(公告)日:2012-05-23

    申请号:CN201010127477.8

    申请日:2010-03-05

    IPC分类号: G06F17/30 H04L29/08

    摘要: 本发明提供一种基于(d,k)摩尔图的存储网络,其特征在于,包括:基本的分布式存储网络和(d,k)摩尔图存储网络;所述基本的分布式存储网络是集群分布式存储网络或基于DHT的P2P存储网络,由n个存储节点构成,其中,n是大于4的整数;所述(d,k)摩尔图存储网络是在所述存储节点集合中根据策略从分布式存储网络节点中选择其中的个节点而形成,每个节点的度等于d,节点间的距离小于等于k,其中,所述策略为存储容量、可用带宽、处理能力、节点的度或者节点间的距离。本发明还提出一种基于(d,k)摩尔图的存储网络的数据读写方法。本发明可提供不同可靠性等级的存储应用,同时解决大量媒体数据迁移问题。

    一种基于IP网络的组播数据受控方法

    公开(公告)号:CN1848728B

    公开(公告)日:2010-09-01

    申请号:CN200510064338.4

    申请日:2005-04-14

    IPC分类号: H04L9/32 H04L12/56

    摘要: 本发明特别涉及到将计算机网络、电信网络相结合的IP网络服务系统。本发明提供的基于IP网络的组播数据受控方法,包括组播权限信息预处理和组播认证管理;其中组播权限信息预处理是将组播成员的组播权限下发到组播成员控制器的过程,组播认证管理包括组播加入/退出认证机制、强制退出组播组机制、组播成员行为记录机制。与现有技术相比,本发明的优点是:能够制定一定的管理策略,为运营商提供商业运营的技术支持;能够将非法用户屏蔽在组播数据接收域之外,防止其对正常组播成员用户的干扰,并减轻组播成员控制的负担,降低网络流量;能够为运营商的预付费业务提供技术支持和管理支持;能够为进一步的数据挖掘提供数据资料。

    一种在单网络接口主机间实现多路径通信的方法

    公开(公告)号:CN101674286A

    公开(公告)日:2010-03-17

    申请号:CN200810119752.4

    申请日:2008-09-08

    IPC分类号: H04L29/06 H04L12/56

    摘要: 本发明提供一种在单网络接口主机间实现多路径通信的方法,用于在通信网络上实现具有单网络接口的第一主机与具有单网络接口的第二主机间的多路径通信,通信网络以支持多穴主机间的多路径通信的网络协议为基础,包括:第一主机向第二主机发送用于建立连接的网络报文,其IP地址参数域中包括第一主机的虚拟网络接口与真实网络接口的IP地址;中转节点根据转发策略对网络报文进行处理;第二主机接收到网络报文后记录报文,并原路返回响应报文,其IP地址参数域中包括第二主机的虚拟网络接口与真实网络接口的IP地址;第一主机接收到响应报文后记录该报文,然后根据网络协议向第二主机再次发送建立连接所需的其它报文,直到两主机间建立连接为止。

    一种实现业务数据组播的系统及方法

    公开(公告)号:CN101645784A

    公开(公告)日:2010-02-10

    申请号:CN200810224608.7

    申请日:2008-10-22

    IPC分类号: H04L12/18 H04M7/12

    摘要: 本发明涉及一种实现业务数据组播的系统及方法,所述系统包括:业务服务模块,资源管理模块,IPQAM及用户终端;所述系统采用的方法是将IPQAM用于接收数据流的IP地址作为组播通道地址;组播业务数据以IP数据包的形式通过IP网发送给IPQAM,由IPQAM复用、调制后经HFC网络发送到组播用户终端;资源管理模块统一管理组播通道资源、管理终端用户加入和退出组播通道、实现组播通道的动态建立与回收。本发明利用HFC网络的广播通道实现组播数据的发送与接收;同时能够为数字电视的跨域直播提供一种有效的实施方法。

    一种电子钱包及其电子货币转移方法

    公开(公告)号:CN100543786C

    公开(公告)日:2009-09-23

    申请号:CN200510086524.8

    申请日:2005-09-27

    IPC分类号: G07F19/00 G07F7/08 G07F7/12

    摘要: 本发明涉及用户消费的电子卡片系统,特别涉及到将无线网络、银行系统相结合的电子钱包,及一种电子货币转移转移方法。本发明提供的电子钱包包括IC卡读写电路、无线读写应答电路、常规存储区和加密存储区,所述常规存储区和加密存储区均与IC卡读写电路电连接;所述常规存储区与无线读写应答电路电连接;所述IC卡读写电路通过IC读写数据线与核心处理单元相连。本发明还提供了一种从固定电子钱包将电子货币转移到消费电子钱包的方法。本发明的优点是:(1)具备小额消费的优势同时兼顾大额消费的功能;(2)能够预存一定数额的电子货币,以备在无法连接金融网络的情况下进行消费;(3)具备两级消费方式,对固定电子钱包采取加密保护。

    一种户外有声设备的音量调节系统及方法

    公开(公告)号:CN101431317A

    公开(公告)日:2009-05-13

    申请号:CN200710176825.9

    申请日:2007-11-05

    IPC分类号: H03G3/20

    摘要: 本发明公开了一种适应环境背景噪声的户外有声设备音量调节系统及方法,通过背景噪声监测模块实时检测背景噪声,在背景噪声超过设定的阈值且时间长度达到一定值后,音量控制模块自动地进行有声设备的音量调整,克服了户外有声设备不能实时调节音量的缺陷,使得户外有声设备可以适应复杂多变的噪声环境,满足不同环境下规定的声音控制标准,起到户外有设备的传播作用。

    一种应用于广播电视系统中的双向信息交互方法

    公开(公告)号:CN101212645A

    公开(公告)日:2008-07-02

    申请号:CN200610171642.3

    申请日:2006-12-31

    IPC分类号: H04N7/173 H04L12/18

    摘要: 本发明涉及一种应用于广播电视系统中的双向信息交互方法,其数据下行过程包括如下步骤:1)分别定义一个组播信道和一个广播信道;2)根据待播出的媒体内容进行交互流程处理;3)根据具体应用和媒体内容对交互信息进行标示;4)将广播类型和组播类型的交互信息分别打包、调制并发送至广播传送网络;5)终端系统在广播信道或组播信道循环等待交互信息,根据信息类型的不同从信道中解调出信息;然后由终端交互流程处理模块给出显示交互信息的坐标位置;6)信息显示模块在显示设备的指定位置显示交互信息。本发明充分利用了广播网络大下行带宽、覆盖面广的优势,同时结合数据网络的灵活性,实现了广覆盖面的个性化信息交互功能。

    基于移动电话语音编解码体系的语音通讯系统及通讯方法

    公开(公告)号:CN1784026A

    公开(公告)日:2006-06-07

    申请号:CN200410096160.7

    申请日:2004-11-30

    摘要: 本发明涉及基于移动电话语音编解码体系的语音通讯系统及通讯方法,系统包括移动电话、网关;移动电话和网关间基于信令的通讯过程,比较协商共同的语音编解码方式,建立语音服务连接;其中移动电话,包括:移动通讯网射频模块,中央处理器,人机接口模块,存储器模块,语音信号处理器,电源模块,语音编解码器,麦克,耳机,无线局域网芯片组和协议处理器;支持多种终端的通用型网关包括:共享存储器,网络处理器,外部接口和数字信号处理器。本发明的移动电话可用于移动通讯网和无线局域网,既扩大移动电话的使用范围,又可降低资费。本发明的网关支持所有语音编解码方式,可实现多种终端在VoIP中的统一接入,简化终端的设计。

    一种线速存储网络分组的系统及方法

    公开(公告)号:CN108111560B

    公开(公告)日:2020-09-11

    申请号:CN201611059126.1

    申请日:2016-11-24

    IPC分类号: H04L29/08

    摘要: 本发明公开一种线速存储网络分组的系统及方法,该系统包括负载均衡模块、写入网络、读出网络、存储模块;通过写入网络、读出网络分离读/写的方式,并结合负载均衡模块实现的均匀分配存储的方式,提出负载均衡+读/存分离的两通道线速存储系统及方法,实现网络传输数据的线速存取,达到传输与存储速度匹配、快速响应分组请求的目的,并实现根据具体场景实现定制化,进而解决了网络节点传输速度和存储速度不匹配的问题;此外,本发明提供的存储模块,通过多轮次确定存储设备中的主消除存储设备的方式消除存储模块中的冗余数据,在解决网络节点传输速度和存储速度不匹配的基础上,进一步解决了存储内容冗余的问题,进而提高了存储空间的利用率。