一种车辆物联网云存储系统数据分组方法

    公开(公告)号:CN112083877B

    公开(公告)日:2023-05-09

    申请号:CN202010507955.1

    申请日:2020-06-05

    IPC分类号: G06F3/06

    摘要: 一种车辆物联网云存储系统数据分组方法,涉及分布式数据管理技术领域,从车辆物联网分布式存储系统的访问特征入手,根据云存储系统数据访问的时间空间局部性,将具有强访问关联关系的数据进行分组。首先,通过模拟有限缓存空间下的数据的访问,获得缓存快照并建立缓存事务。其次,建立基于缓存事务的向量化数据访问特征,对数据进行初步分组。最后,以初步分组为点,数据间访问强度为边,按照访问强度从高到低的顺序建立关系图,动态的将形成的完全子图合并成数据分组。当数据分组中任何数据被访问时,其所在分组将被一起预取到缓存中。此方法减少了数据访问时的I/O次数和访问延时,整体上提升了车辆物联网云存储系统的数据读取效率。

    一种车辆物联网云存储系统数据分组方法

    公开(公告)号:CN112083877A

    公开(公告)日:2020-12-15

    申请号:CN202010507955.1

    申请日:2020-06-05

    IPC分类号: G06F3/06

    摘要: 一种车辆物联网云存储系统数据分组方法,涉及分布式数据管理技术领域,从车辆物联网分布式存储系统的访问特征入手,根据云存储系统数据访问的时间空间局部性,将具有强访问关联关系的数据进行分组。首先,通过模拟有限缓存空间下的数据的访问,获得缓存快照并建立缓存事务。其次,建立基于缓存事务的向量化数据访问特征,对数据进行初步分组。最后,以初步分组为点,数据间访问强度为边,按照访问强度从高到低的顺序建立关系图,动态的将形成的完全子图合并成数据分组。当数据分组中任何数据被访问时,其所在分组将被一起预取到缓存中。此方法减少了数据访问时的I/O次数和访问延时,整体上提升了车辆物联网云存储系统的数据读取效率。

    一种车辆物联网云存储系统重复数据删除方法

    公开(公告)号:CN112115108A

    公开(公告)日:2020-12-22

    申请号:CN202010950313.9

    申请日:2020-09-11

    IPC分类号: G06F16/174 G06F16/13

    摘要: 一种车辆物联网云存储系统重复数据删除方法,涉及信息存储领域,步骤如下:将固定窗口置于未分块的起始位置,滑动窗口寻找不小于极大值的字节作为分块点、生成块指纹Chunkfp;记录滑动窗口内极大值 和分块长度SizeChunk;重复a、b,直至分块完成;依次排列三元组数据、建立三元组列表,三元组数据为 SizeChunk+1为下一分块长度;当有新的数据流输入时,执行步骤a,在三元组列表中寻找具有相同块指纹的三元组数据,找到时,将三元组列表中自具有相同块指纹的三元组数据起向后的各三元组数据中的SizeChunk+1依次作为对新输入的数据流分块的字节长度,对新输入的数据流进行分块,直至分块完成;未找到时,更新三元组列表;本发明分块速度快,系统数据吞吐率高。

    一种基于双向距离网络嵌入的社交网络表示方法

    公开(公告)号:CN109992725A

    公开(公告)日:2019-07-09

    申请号:CN201910285507.9

    申请日:2019-04-10

    IPC分类号: G06F16/9536 G06Q50/00

    摘要: 本发明提供一种基于双向距离网络嵌入的社交网络表示方法,属于数据挖掘与网络技术领域。本发明首先读取社交关系网络中的节点并进行编码;然后读取关注与被关注关系,分别为每一个节点生成窗口大小为k的上文邻居节点序列和下文邻居节点序列,并记录每个邻居节点到该节点的有向距离;构造三层网络嵌入模型;将节点编码集作为输入进行学习,并不断进行模型超参数的调整;最后将隐藏层的权重矩阵作为最终网络嵌入的结果,每一行的向量表示作为节点的向量表示。本发明解决了现有社交关系网络的结构和拓扑信息表示不准确,对真实社交关系的还原能力较低,将不能有效的处理网络数据并精准有效的控制事件的发展的问题。本发明可用于社交网络表示。