将消息存储至分布式文件系统的方法和装置

    公开(公告)号:CN108255875A

    公开(公告)日:2018-07-06

    申请号:CN201611249847.9

    申请日:2016-12-29

    发明人: 高志明

    IPC分类号: G06F17/30

    CPC分类号: G06F16/172 G06F16/182

    摘要: 本发明公开了将消息存储至分布式文件系统的方法和装置,所述消息为分布式消息系统中的消息。其中方法包括:在所述分布式文件系统的集群中部署消息存储长时服务;由所述消息存储长时服务持续从所述分布式消息系统获取待存储的消息,以及根据所述待存储消息的消息内容,确定所述待存储消息对应的存储文件,在满足消息存储条件时,将所述存储文件存储至所述分布式文件系统的集群中。该技术方案可以实现将分布式消息系统中的消息实时地保存至分布式文件系统,同时解决了在磁盘上处理消息的问题,消息传输可靠性和存储效率都非常高。

    一种小文件存储方法、小文件读取方法及系统

    公开(公告)号:CN107291915A

    公开(公告)日:2017-10-24

    申请号:CN201710501667.3

    申请日:2017-06-27

    发明人: 李杰辉 牛立国

    IPC分类号: G06F17/30

    CPC分类号: G06F16/172 G06F16/13

    摘要: 本发明公开了一种小文件存储方法、小文件读取方法及系统,所述小文件存储方法包括:在大文件的逻辑存储单元中预设一个元数据库;将待存储小文件的数据内容信息存储在大文件中,所述待存储小文件的数据内容信息添加至大文件的末尾;将待存储小文件的元数据存储在元数据库中,元数据包括:小文件的名称、大小、类型、校验值、时间戳、小文件在大文件中的偏移量以及自定义元数据。本发明通过在大文件的逻辑存储单元中增加一个元数据库,将待存储小文件的数据内容信息和待存储小文件的元数据进行分开存储,实现了单独可以对元数据的修改、添加和删除;另外,在将元数据加载到内存进行缓存时,不需要再扫描整个大文件。

    实例生成、实例操作方法及装置、存储介质及电子设备

    公开(公告)号:CN107229685A

    公开(公告)日:2017-10-03

    申请号:CN201710331250.7

    申请日:2017-05-11

    发明人: 展金 马帅

    IPC分类号: G06F17/30

    CPC分类号: G06F16/172

    摘要: 本公开涉及一种实例生成、实例操作方法及装置、存储介质及电子设备。实例生成方法包括:接收实例生成请求,实例生成请求包括报表身份标识和请求参数;查找报表身份标识对应的报表模板,报表模板包括预设属性和可变属性;利用预设属性生成预设缓存模型,预设缓存模型用于保存同一报表生成的所有实例具有的共性属性,所有实例对应缓存一份预设缓存模型;利用请求参数和可变属性生成实例缓存模型及实例身份标识,实例缓存模型用于保存当前实例相对其他实例具有的个性属性;建立实例缓存模型与预设缓存模型间的引用关系,实例缓存模型与预设缓存模型的组合用于表示当前实例。有助于降低实例缓存消耗的内存空间,尤其在并发量大的场景下效果更为显著。

    一种客户信息跟踪方法及系统

    公开(公告)号:CN106897457A

    公开(公告)日:2017-06-27

    申请号:CN201710139114.8

    申请日:2017-03-09

    发明人: 陈朝阳

    IPC分类号: G06F17/30 G06Q30/00

    CPC分类号: G06F16/172 G06Q30/01

    摘要: 本发明公开了一种客户信息跟踪方法及系统,其技术方案要点是,移动终端对联系文件进行解析,获取联系文件中若干客户的联系档案;在每个联系档案中的填充标识中均创建存储区域;点开其中一个联系档案,移动终端对该联系档案中的联系信息进行标识;点击联系信息以触发移动终端的拨打程序启动,确认是否拨打该联系信息,若是,在拨打该联系信息后进一步判断该联系信息的拨号线路是否接通,若拨号线路接通,则控制录音装置启动以进行录音;若拨号线路没有接通,则在预设时间后再次提醒拨号;在拨号线路挂断后,将录音装置获取的音频资料保存在该联系档案中填充标识的存储区域中,并将该联系档案携带音频资料反馈至本地终端中。

    一种集群文件系统基于客户端的可传播缓存方法

    公开(公告)号:CN106776798A

    公开(公告)日:2017-05-31

    申请号:CN201611047448.4

    申请日:2016-11-23

    发明人: 李发明 张勤

    IPC分类号: G06F17/30

    CPC分类号: G06F16/172

    摘要: 本发明公开了一种集群文件系统基于客户端的可传播缓存方法,通过在所有访问集群文件系统的客户端内存及硬盘划分出一个区域用于缓存本客户端访问过的数据,同时通过消息的形式通知其它访问集群的客户端缓存内容,当其它客户端也需要访问相同数据时,可以不通过访问集群而直接访问相应的其它客户端;当某客户端读取数据时,先会尝试从本地缓存中读取,如果没有会在位于本机的其它客户端缓存列表查找,如果找到则直接从其它客户端读取;如果没有找到再向集群发出读取数据请求。本发明的优点是:提高了文件读取和传播的效率,降低集群文件系统的访问压力,提升数据读取的性能,网络占用率低。

    分布式文件系统的小文件预读方法及系统

    公开(公告)号:CN106776759A

    公开(公告)日:2017-05-31

    申请号:CN201611034542.6

    申请日:2016-11-17

    发明人: 张端 李雪生

    IPC分类号: G06F17/30

    CPC分类号: G06F16/182 G06F16/172

    摘要: 本申请公开了一种分布式文件系统的小文件预读方法,包括:步骤S1:接收用户发起的小文件的读请求;步骤S2:判断文件系统中是否存在相应的小文件缓存,若否,则执行后续步骤,若是,则执行步骤S4;步骤S3:读取底层存储介质中的小文件及其同目录下后续的小文件,将小文件及所述同目录下后续的小文件缓存至所述文件系统层中;步骤S4:读取文件系统层中的所述小文件缓存,将小文件缓存返回至所述用户。通过对底层存储介质中的小文件以及对应的同父目录下后续的小文件进行缓存,从文件系统层中直接读取小文件或者与所述同父目录下后续的小文件能够加快小文件读取速度。本申请还公开一种分布式文件系统的小文件预读系统,具有同样的技术效果。

    基于时空双重近似索引的台风海域Argo资料的快速查询方法

    公开(公告)号:CN106599158A

    公开(公告)日:2017-04-26

    申请号:CN201611118469.0

    申请日:2016-12-07

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种基于时空双重近似索引的台风海域Argo资料的快速查询方法,步骤如下:1)从全球Argo资料集中提取元数据文件存储记录到PostgreSQL数据库;2)对元数据表中的时间字段和空间字段建立索引;3)将全球Argo资料原文件存储到分布式文件系统HDFS;4)将Argo资料原文件在HDFS上的存储地址记录到PostgreSQL数据库中对应的元数据索引字段中;5)服务器基于特定台风的轨迹路径构建时间与空间组合的查询条件;6)移动时空窗口以快速的近似匹配用户的时空查询条件,并将初步的匹配结果放到数据库缓存池中;7)快速定位到符合条件的Argo资料并将结果返回给用户。本发明可以根据任意给定的台风轨迹,快速查询出该台风海域实时的Argo资料。