-
公开(公告)号：CN111611068B
公开(公告)日：2022-07-15
申请号：CN201910136605.6
申请日：2019-02-25
Applicant: 清华大学
IPC: G06F9/50
Abstract: 本发明实施例提供一种分布式系统中的数据写方法、服务器及客户端，所述方法包括：在预设等待时间周期内，接收客户端以预先获取的速度发送的待写数据的写请求，并将各所述写请求放入等待队列中；经过所述预设等待时间周期后，基于两阶段提交协议将所述等待队列中的写请求批量完成，并根据处理各所述写请求时的性能状态，判断主副本所在计算机节点是否已达到性能瓶颈；将各所述写请求对应的判断结果发送给所述客户端，以供所述客户端根据各所述写请求对应的判断结果调整所述速度，以最近调整的所述速度向所述主副本所在计算机节点发送写请求。本发明实施例提升了服务器端的吞吐率，且避免负载过重，方法简单，易于实施。
-
公开(公告)号：CN109815204B
公开(公告)日：2021-03-02
申请号：CN201811505304.8
申请日：2018-12-10
Applicant: 清华大学
IPC: G06F16/182 , H04L29/08
Abstract: 本发明实施例提供一种基于拥塞感知的元数据请求分发方法及设备，包括：接收元数据请求以及所有可送达服务器的服务器状态信息，根据服务器状态信息，通过预设的代价估计函数对所有可送达服务器进行性能评估，获得所有可送达服务器中每一个服务器的性能代价；选取性能代价最低的服务器作为目标服务器，判断获知当前时间窗口内发往目标服务器的请求数量小于预设阈值，向目标服务器发送元数据请求；客户端等价判定目标服务器的拥塞状态，并根据目标服务器的拥塞状态，调整元数据请求的发送速率。本发明提供的方法，提高了元数据请求的处理速度和系统整体的吞吐率，通过感知服务器的拥塞状况，调整请求发送速率，节省了系统维护成本和时间开销。
-
公开(公告)号：CN111611068A
公开(公告)日：2020-09-01
申请号：CN201910136605.6
申请日：2019-02-25
Applicant: 清华大学
IPC: G06F9/50
Abstract: 本发明实施例提供一种分布式系统中的数据写方法、服务器及客户端，所述方法包括：在预设等待时间周期内，接收客户端以预先获取的速度发送的待写数据的写请求，并将各所述写请求放入等待队列中；经过所述预设等待时间周期后，基于两阶段提交协议将所述等待队列中的写请求批量完成，并根据处理各所述写请求时的性能状态，判断主副本所在计算机节点是否已达到性能瓶颈；将各所述写请求对应的判断结果发送给所述客户端，以供所述客户端根据各所述写请求对应的判断结果调整所述速度，以最近调整的所述速度向所述主副本所在计算机节点发送写请求。本发明实施例提升了服务器端的吞吐率，且避免负载过重，方法简单，易于实施。
-
公开(公告)号：CN109815204A
公开(公告)日：2019-05-28
申请号：CN201811505304.8
申请日：2018-12-10
Applicant: 清华大学
IPC: G06F16/182 , H04L29/08
Abstract: 本发明实施例提供一种基于拥塞感知的元数据请求分发方法及设备，包括：接收元数据请求以及所有可送达服务器的服务器状态信息，根据服务器状态信息，通过预设的代价估计函数对所有可送达服务器进行性能评估，获得所有可送达服务器中每一个服务器的性能代价；选取性能代价最低的服务器作为目标服务器，判断获知当前时间窗口内发往目标服务器的请求数量小于预设阈值，向目标服务器发送元数据请求；客户端等价判定目标服务器的拥塞状态，并根据目标服务器的拥塞状态，调整元数据请求的发送速率。本发明提供的方法，提高了元数据请求的处理速度和系统整体的吞吐率，通过感知服务器的拥塞状况，调整请求发送速率，节省了系统维护成本和时间开销。
-
公开(公告)号：CN103530362B
公开(公告)日：2017-01-04
申请号：CN201310475697.3
申请日：2013-10-12
Applicant: 清华大学
IPC: G06F17/30
Abstract: 本发明涉及一种用于多副本分布式系统的计算机数据读写方法，属于计算机网络技术和计算机数据存储技术领域。在本发明方法中，用户针对分布式系统的读写过程采用时间信息与数据信息相分离的方式，首先向分布式系统发送或读取时间戳信息，根据时间戳信息，分布式系统确定接受到的数据的最新状态，以此来保证每份数据的多个副本间的数据一致性，之后用户再与分布式系统进行数据交互。本发明方法步骤简单实用，易于实施。
-
Patent Agency Ranking
公开(公告)号：CN103019890B
公开(公告)日：2015-04-29
申请号：CN201210568036.0
申请日：2012-12-24
Applicant: 清华大学
Abstract: 一种块级别的磁盘数据保护系统及其方法，属于计算机数据存储和保护领域，该系统基于客户端/服务器架构，被保护磁盘位于客户端，服务器端存放备份数据；服务器端分为镜像区、备份区和快照区，被保护磁盘与镜像区做成实时镜像，用户所有对被保护磁盘的操作都会被同步到镜像区；服务器端监听模块将写入到镜像区的数据组织成备份数据单元，依次写入备份区；当备份区内新增数据备份单元数量大于用户设定的阀值时，服务器端对镜像区数据做快照，并将快照数据写入快照区；若用户提出恢复请求，服务器端根据恢复时间点先从快照区将快照数据写入镜像区，再从备份区找出相应备份数据单元写入镜像区，最后返回到被保护磁盘。
-
公开(公告)号：CN104135505A
公开(公告)日：2014-11-05
申请号：CN201410081163.7
申请日：2014-03-06
Applicant: 清华大学
Abstract: 本发明提供了一种跨HDFS的数据中心的数据联接方法，该方法包括：协调节点接收到数据联接操作请求后，从配置文件中获取元数据节点的IP地址，逐个与配置文件中的元数据节点建立连接，当查询到当前元数据节点中有被请求表时，获取该被请求元数据节点的元数据信息；被请求节点根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据，向协调节点发送本节点所保存的结果集的大小；协调节点通知小结果集节点将本节点保存的结果集发送给所有大结果集节点；所有大结果集节点将本节点的结果集与所有小结果集节点发来的结果集进行哈希连接得到结果记录；协调节点汇聚结果记录。通过该方法及系统，能够实现跨数据中心的数据联接。
-
公开(公告)号：CN103019890A
公开(公告)日：2013-04-03
申请号：CN201210568036.0
申请日：2012-12-24
Applicant: 清华大学
Abstract: 一种块级别的磁盘数据保护系统及其方法，属于计算机数据存储和保护领域，该系统基于客户端/服务器架构，被保护磁盘位于客户端，服务器端存放备份数据；服务器端分为镜像区、备份区和快照区，被保护磁盘与镜像区做成实时镜像，用户所有对被保护磁盘的操作都会被同步到镜像区；服务器端监听模块将写入到镜像区的数据组织成备份数据单元，依次写入备份区；当备份区内新增数据备份单元数量大于用户设定的阀值时，服务器端对镜像区数据做快照，并将快照数据写入快照区；若用户提出恢复请求，服务器端根据恢复时间点先从快照区将快照数据写入镜像区，再从备份区找出相应备份数据单元写入镜像区，最后返回到被保护磁盘。
-
公开(公告)号：CN104834650A
公开(公告)日：2015-08-12
申请号：CN201410049127.2
申请日：2014-02-12
Applicant: 清华大学
IPC: G06F17/30
Abstract: 本发明涉及一种有效查询任务生成方法及系统，包括以下步骤：将结构化表数据按照关键列排序后进行分块存储，得到所述结构化表数据对应的多个数据块；获取每一个数据块中关键列的取值范围创建数据块索引；当接收到按照关键列或包含关键列的查询任务时，根据所述数据块索引对含有结果信息的数据块生成有效查询任务；本发明提供的一种有效查询任务生成方法基于数据块中特定列的取值范围创建数据块索引，生成有效的查询任务，减少无效的查询任务，提高了数据处理的速率，降低数据管理系统的负担。
-
公开(公告)号：CN102521269B
公开(公告)日：2013-06-19
申请号：CN201110373181.9
申请日：2011-11-22
Applicant: 清华大学
Abstract: 本发明涉及一种基于索引的计算机连续数据保护方法，属于计算机数据存储和保护技术领域。数据块元数据包括数据块标识、时间戳和存储池地址，在服务器端内存中设置两个缓冲队列、一个标识索引表，在硬盘上建立日志文件，存储池接收到数据块后进行去重处理，服务器端根据标识索引表和数据块标识将元数据存写入到其中一个缓冲队列的存储区中，若写完后存储区已满，该存储区中的元数据写入到日志文件中，并更新标识索引表，之后到来的元数据写入到另一缓冲队列的存储区中。本发明方法使用双缓冲队列缓存元数据，能够避免系统阻塞；建立标识索引表和日志文件，加快元数据的查询速度；服务器端的存储池会对数据块进行去重处理，节省了存储空间。
-
-
-
-
-
-
-
-
-
Search Results
15
records
(took 0.02 seconds)
