-
公开(公告)号：CN110362774B
公开(公告)日：2021-09-28
申请号：CN201910646899.7
申请日：2019-07-17
申请人： 上海交通大学
IPC分类号： G06F16/958 , G06N3/04 , G06N3/08
摘要： 本发明提供了一种点击率预估模型的建立方法及系统，包括：历史数据提取步骤：从历史点击数据中提取基础特征；特征向量构建步骤：将基础特征中的类别型特征和数值型特征分别构建同一维度的特征向量表示，作为模型训练输入；模型建立步骤：建立基于对数变换层和多层全连接神经网络的点击率预估模型；模型优化步骤：通过训练数据对点击率预估模型进行优化，得到最优的模型参数。本发明能够通过模型训练得到自动学习到有效的显式交叉特征，相比现有方法具有较好的可解释性，较少的模型参数和较高的模型预测性能。
-
公开(公告)号：CN111414134B
公开(公告)日：2021-05-25
申请号：CN202010104546.7
申请日：2020-02-20
摘要： 本发明提供了一种面向持久内存文件系统的事务写优化框架的系统及方法，包括：元数据模块：写文件输入元数据模块，元数据模块动态备份写文件系统中的元数据以及支持元数据故障恢复；数据模块写文件输入数据模块，数据模块保证数据的一致性，并在发生故障时恢复一致性状态；原子性决策逻辑模块：当完成元数据模块和数据模块后，判断文件元数据和数据操作的原子性；并将原子性决策逻辑模块判断后的最新的元数据信息和/或数据信息写回元数据模块和/或数据模块。本发明主要针对持久内存文件系统的一致性实现问题，提供一种事务优化读写方法。
-
公开(公告)号：CN112367536A
公开(公告)日：2021-02-12
申请号：CN202011452878.0
申请日：2020-12-11
IPC分类号： H04N21/232 , H04N21/238 , H04N21/262
摘要： 本发明提供了一种面向视频文件大数据的RDMA混合传输方法，包括：步骤1：RDMA初始化建立；步骤2：获取视频数据请求；步骤3：对视频数据请求进行识别分类；步骤4：对视频数据请求进行传输。本发明针对分布式文件系统下视频大数据传输的问题，提供了一种RDMA混合传输方法，所述的方法和装置能够很好的降低视频大数据传输延迟；同时能够适配分布式非易失性内核态文件系统，优化了分布式系统中视频流的传输过程，具有良好的市场前景和应用价值。
-
公开(公告)号：CN110069431B
公开(公告)日：2020-11-24
申请号：CN201810070442.1
申请日：2018-01-24
申请人： 上海交通大学
摘要： 本发明提供了一种基于RDMA和HTM的弹性Key‑Value键值对数据存储方法，设计遵循服务器端—客户端架构模式，包括：在服务器端，结合哈希图给出改进型的G‑Cuckoo哈希数据管理模式，避免在数据插入过程中查找空闲位置而导致的哈希表之间kick‑out无限循环问题；分析在客户端与服务器端之间传统网络传递消息需要来回round响应而引起的键值对存储性能瓶颈问题，使用Infiniband远程直接内存访问RDMA技术，设计RDMA网络通信引擎，接收数据访问请求和送回数据请求结果；利用硬件事务内存HTM技术，实现两段锁协议锁操作，保障数据操作原子特性；使用键值对数据自验证检验码保障数据一致性。本发明实现可极大提升键值对数据基本操作速度。
-
公开(公告)号：CN111736996A
公开(公告)日：2020-10-02
申请号：CN202010553640.0
申请日：2020-06-17
申请人： 上海交通大学
IPC分类号： G06F9/50 , G06F12/1009 , G06F12/109
摘要： 本发明公开了一种面向分布式非易失内存系统的进程持久化方法及装置。在该方法中，周期性地生成运行在主节点上的持久化进程的进程副本，本将副本通过网络分发至各副节点中；主节点以及各从节点将进程副本存储在PM模块中，以便副节点可以根据进程副本恢复重建该持久化进程。本发明主要针对大型分布式系统中科学计算进程长时间运行没有可靠性保障的问题，利用PM非易失、速度快、容量大的特点，自动地维护进程的检查点以及进程副本，并能在系统出现故障时自动恢复，具有良好的市场前景和应用价值。
-
公开(公告)号：CN110362774A
公开(公告)日：2019-10-22
申请号：CN201910646899.7
申请日：2019-07-17
申请人： 上海交通大学
IPC分类号： G06F16/958 , G06N3/04 , G06N3/08
摘要： 本发明提供了一种点击率预估模型的建立方法及系统，包括：历史数据提取步骤：从历史点击数据中提取基础特征；特征向量构建步骤：将基础特征中的类别型特征和数值型特征分别构建同一维度的特征向量表示，作为模型训练输入；模型建立步骤：建立基于对数变换层和多层全连接神经网络的点击率预估模型；模型优化步骤：通过训练数据对点击率预估模型进行优化，得到最优的模型参数。本发明能够通过模型训练得到自动学习到有效的显式交叉特征，相比现有方法具有较好的可解释性，较少的模型参数和较高的模型预测性能。
-
公开(公告)号：CN105938458B
公开(公告)日：2019-02-22
申请号：CN201610228385.6
申请日：2016-04-13
申请人： 上海交通大学
IPC分类号： G06F12/06
摘要： 本发明提供了一种软件定义的异构混合内存管理方法，该方法基于平坦的混合内存体系架构，通过软件定义的方法实现平坦和层级两种内存管理模式。包括：对动态随机存储器和存储级内存分别进行逻辑功能角色划分，设计功能适配器、动态随机存储器充当高速缓存等功能模块，并根据用户的配置参数实现角色与各功能模块的适配，按需构建平坦或层级的内存管理模式。本发明可以在不改变硬件架构的情况下，为应用程序提供不同的访存模式，满足多样化的访存需求。
-
公开(公告)号：CN105446899B
公开(公告)日：2018-08-31
申请号：CN201510759531.3
申请日：2015-11-09
申请人： 上海交通大学
IPC分类号： G06F12/0871
摘要： 本发明提供了一种基于存储级内存的内存数据快速持久化的方法。该方法基于平坦的混合内存架构，通过用户层和内核层的协同设计实现。包括：将一定容量的SCM以及存储于此SCM上的数据抽象为一块持久区域；在用户层设计应用程序编程接口(API)，响应应用程序对持久区域的访存；扩展内核的Buddy system，实现异构混合内存管理；在设计持久区域管理器，实现包括持久区域的持久映射、持久区域元数据管理等功能。本发明可以避免在传统存储架构下，数据持久化所需的数据线性化过程，同时可实现持久数据的直接访问和原地更新，简化了传统架构下软件栈的层级调用，可有效缓解I/O瓶颈，提高持久数据的访存性能。
-
公开(公告)号：CN107888657A
公开(公告)日：2018-04-06
申请号：CN201710941988.5
申请日：2017-10-11
申请人： 上海交通大学
CPC分类号： H04L67/1097 , G06F3/0611 , G06F3/0656 , G06F3/067 , G06F3/0679
摘要： 本发明提供了一种低延迟分布式存储系统，将数据存储在可字节寻址的非易失性内存中，通过远程直接内存访问技术读写存储系统的数据，并将数据备份到多个冗余节点，以达到低延迟和高可用性。本发明使用中心化的调度器模块实现对多个服务器的集群及其索引信息的管理。客户端只需在连接到存储系统时需要与调度器模块通信，其后的所有请求，都直接发送到存储了相应数据的服务器节点。本发明基于非易失性内存和远程直接内存访问技术，可以向客户端提供键值存储系统接口，并提供低延迟的数据存储服务。
-
公开(公告)号：CN107544756A
公开(公告)日：2018-01-05
申请号：CN201710657877.1
申请日：2017-08-03
申请人： 上海交通大学
摘要： 本发明提供了一种基于SCM的Key-Value日志型本地存储方法，存储方法包括以下步骤：SCM内存划分步骤：对SCM内存进行按功能划分分区，即划分为超级块区、检查点区、页管理区、静态哈希表区、数据存储区这五个不同的逻辑分区；多层次内存管理步骤：构建三层内存管理模块，在不同层面上对内存进行管理，实现页面的动态分配和回收；高并发哈希表构建步骤：使用静态哈希表来索引key-value对象，使用动态分配的数组存放哈希冲突的元素。本发明中的实现方法根据异构内存介质的硬件特性合理调度分配存储空间，提高存储介质的利用率，延长硬件的使用寿命，提高混合键值存储系统并发性和数据吞吐量。
-
-
-
-
-
-
-
-
-
搜索结果
114 条记录 (耗时 0.035 秒)