公开(公告)号：US07058766B2

公开(公告)日：2006-06-06

申请号：US10690303

申请日：2003-10-21

申请人： Dharmendra S. Modha

发明人： Dharmendra S. Modha

IPC分类号： G06F12/00

CPC分类号： G06F12/124 ,  G06F12/123 ,  G06F2212/502

摘要： A method for adaptively managing pages in a cache memory with a variable workload comprises defining a cache memory; organizing the cache into disjoint lists of pages, wherein the lists comprise lists T1, T2, B1, and B2; maintaining a bit that is set to either “S” or “L” for every page in the cache, which indicates whether the bit has short-term utility or long-term utility; ensuring that each member page of T1 is marked either as “S” or “L”, wherein each member page of T1 and B1 is marked as “S” and each member page of T2 and B2 is marked as “L”; and maintaining a temporal locality window parameter such that pages that are re-requested within a window are of short-term utility and pages that are re-requested outside the window are of long-term utility, wherein the cache comprises pages that are members of any of lists T1 and T2.

摘要翻译： 用于以可变工作负载自适应地管理高速缓冲存储器中的页面的方法包括定义高速缓冲存储器; 将缓存组织成不相交的页面列表，其中列表包括列表T 1，T 2，B 1和B 2 为缓存中的每个页面保留一个被设置为“S”或“L”的位，这表示该位是否具有短期效用或长期效用; 确保T＆lt; 1＆gt; 1的每个成员页面被标记为“S”或“L”，其中T 1＆lt; 1＆lt; 1＆lt; 1＆lt; 1＆lt; >标记为“S”，将T＆lt; 2＆lt; 2＆gt;和B＆gt; 2＆lt; 2＆gt;的每个成员页面标记为“L”; 并且维护时间局部性窗口参数，使得在窗口内重新请求的页面具有短期效用，并且在窗口之外重新请求的页面是长期有用的，其中，高速缓存包括作为 列表T 1和T 2中的任何一个。

公开(公告)号：US09292788B2

公开(公告)日：2016-03-22

申请号：US13594058

申请日：2012-08-24

申请人： Dharmendra S. Modha

发明人： Dharmendra S. Modha

IPC分类号： G06N3/08 ,  G06N3/063 ,  G06N3/04

CPC分类号： G06N3/08 ,  G06N3/04 ,  G06N3/049 ,  G06N3/063

摘要： The present invention provides an event-driven universal neural network circuit. The circuit comprises a plurality of neural modules. Each neural module comprises multiple digital neurons such that each neuron in a neural module has a corresponding neuron in another neural module. An interconnection network comprising a plurality of digital synapses interconnects the neural modules. Each synapse interconnects a first neural module to a second neural module by interconnecting a neuron in the first neural module to a corresponding neuron in the second neural module. Corresponding neurons in the first neural module and the second neural module communicate via the synapses. Each synapse comprises a learning rule associating a neuron in the first neural module with a corresponding neuron in the second neural module. A control module generates signals which define a set of time steps for event-driven operation of the neurons and event communication via the interconnection network.

摘要翻译： 本发明提供一种事件驱动通用神经网络电路。 该电路包括多个神经模块。 每个神经模块包括多个数字神经元，使得神经模块中的每个神经元在另一个神经模块中具有相应的神经元。 包括多个数字突触的互连网络将神经模块互连。 每个突触通过将第一神经模块中的神经元与第二神经模块中的相应神经元相互连接来将第一神经模块与第二神经模块相互连接。 第一神经模块和第二神经模块中的相应神经元通过突触进行通信。 每个突触包括将第一神经模块中的神经元与第二神经模块中的相应神经元相关联的学习规则。 控制模块产生信号，其定义用于经由互连网络进行神经元和事件通信的事件驱动操作的一组时间步长。

公开(公告)号：US20150262057A1

公开(公告)日：2015-09-17

申请号：US13594069

申请日：2012-08-24

申请人： Dharmendra S. Modha

发明人： Dharmendra S. Modha

IPC分类号： G06N3/063 ,  G06F13/40 ,  G06N3/04

CPC分类号： G06N3/04 ,  G06F13/4068 ,  G06N3/063 ,  Y02D10/14 ,  Y02D10/151

摘要： Embodiments of the invention provide a neural network comprising multiple functional neural core circuits, and a dynamically reconfigurable switch interconnect between the functional neural core circuits. The interconnect comprises multiple connectivity neural core circuits. Each functional neural core circuit comprises a first and a second core module. Each core module comprises a plurality of electronic neurons, a plurality of incoming electronic axons, and multiple electronic synapses interconnecting the incoming axons to the neurons. Each neuron has a corresponding outgoing electronic axon. In one embodiment, zero or more sets of connectivity neural core circuits interconnect outgoing axons in a functional neural core circuit to incoming axons in the same functional neural core circuit. In another embodiment, zero or more sets of connectivity neural core circuits interconnect outgoing and incoming axons in a functional neural core circuit to incoming and outgoing axons in a different functional neural core circuit, respectively.

摘要翻译： 本发明的实施例提供了一种包括多个功能神经核心电路的神经网络，以及功能神经核心电路之间的动态可重构开关互连。 互连包括多个连接神经核心电路。 每个功能神经核心电路包括第一和第二核心模块。 每个核心模块包括多个电子神经元，多个输入电子轴突以及将输入的轴突与神经元相互连接的多个电子突触。 每个神经元都有一个相应的输出电子轴突。 在一个实施例中，零个或多个连接神经核心电路组将功能性神经核心电路中的输出轴突与相同功能神经核心电路中的输入轴突相互连接。 在另一个实施例中，零个或多个连接神经核心电路组将功能性神经核心电路中的输出和输入轴突分别互连到不同功能神经核心电路中的输入和输出轴突。

公开(公告)号：US20150262055A1

公开(公告)日：2015-09-17

申请号：US13585010

申请日：2012-08-14

申请人： Filipp Akopyan ,  John V. Arthur ,  Rajit Manohar ,  Paul A. Merolla ,  Dharmendra S. Modha ,  Alyosha Molnar ,  William P. Risk, III

发明人： Filipp Akopyan ,  John V. Arthur ,  Rajit Manohar ,  Paul A. Merolla ,  Dharmendra S. Modha ,  Alyosha Molnar ,  William P. Risk, III

IPC分类号： G06N3/063 ,  G06N3/04

CPC分类号： G06N3/06 ,  G06N3/04 ,  G06N3/049 ,  G06N3/063

摘要： An event-driven neural network includes a plurality of interconnected core circuits is provided. Each core circuit includes an electronic synapse array has multiple digital synapses interconnecting a plurality of digital electronic neurons. A synapse interconnects an axon of a pre-synaptic neuron with a dendrite of a post-synaptic neuron. A neuron integrates input spikes and generates a spike event in response to the integrated input spikes exceeding a threshold. Each core circuit also has a scheduler that receives a spike event and delivers the spike event to a selected axon in the synapse array based on a schedule for deterministic event delivery.

摘要翻译： 事件驱动神经网络包括多个互连的核心电路。 每个核心电路包括具有互连多个数字电子神经元的多个数字突触的电子突触阵列。 突触将突触前神经元的轴突与突触后神经元的枝晶相互连接。 神经元集成输入尖峰，并响应于超过阈值的积分输入尖峰而产生尖峰事件。 每个核心电路还具有接收尖峰事件的调度器，并且基于用于确定性事件递送的调度将突发事件传递到突触阵列中的选定轴突。

公开(公告)号：US08874498B2

公开(公告)日：2014-10-28

申请号：US13235342

申请日：2011-09-16

申请人： Dharmendra S. Modha

发明人： Dharmendra S. Modha

IPC分类号： G06N3/08 ,  G06N3/04

CPC分类号： G06N3/08 ,  G06N3/04 ,  G06N3/049 ,  G06N3/063 ,  G06N3/088

摘要： The present invention relates to unsupervised, supervised and reinforced learning via spiking computation. The neural network comprises a plurality of neural modules. Each neural module comprises multiple digital neurons such that each neuron in a neural module has a corresponding neuron in another neural module. An interconnection network comprising a plurality of edges interconnects the plurality of neural modules. Each edge interconnects a first neural module to a second neural module, and each edge comprises a weighted synaptic connection between every neuron in the first neural module and a corresponding neuron in the second neural module.

摘要翻译： 本发明涉及通过尖峰计算的无监督，监督和加强学习。 神经网络包括多个神经模块。 每个神经模块包括多个数字神经元，使得神经模块中的每个神经元在另一个神经模块中具有相应的神经元。 包括多个边缘的互连网络互连多个神经模块。 每个边缘将第一神经模块互连到第二神经模块，并且每个边缘包括第一神经模块中的每个神经元和第二神经模块中的相应神经元之间的加权突触连接。

公开(公告)号：US08712940B2

公开(公告)日：2014-04-29

申请号：US13149733

申请日：2011-05-31

申请人： Dharmendra S. Modha

发明人： Dharmendra S. Modha

IPC分类号： G06N5/00 ,  G06N3/063

CPC分类号： G06N3/04 ,  G06N3/049 ,  G06N3/061 ,  G06N3/063 ,  G06N3/0635 ,  G06N3/08 ,  G11C11/54 ,  Y10T428/2481

摘要： A neural system comprises multiple neurons interconnected via synapse devices. Each neuron integrates input signals arriving on its dendrite, generates a spike in response to the integrated input signals exceeding a threshold, and sends the spike to the interconnected neurons via its axon. The system further includes multiple noruens, each noruen is interconnected via the interconnect network with those neurons that the noruen's corresponding neuron sends its axon to. Each noruen integrates input spikes from connected spiking neurons and generates a spike in response to the integrated input spikes exceeding a threshold. There can be one noruen for every corresponding neuron. For a first neuron connected via its axon via a synapse to dendrite of a second neuron, a noruen corresponding to the second neuron is connected via its axon through the same synapse to dendrite of the noruen corresponding to the first neuron.

摘要翻译： 神经系统包括通过突触装置相互连接的多个神经元。 每个神经元将输入信号整合到其树突上，响应于超过阈值的积分输入信号产生尖峰，并通过其轴突将尖峰发送到相互连接的神经元。 该系统还包括多个诺基因，每个诺纶通过互连网络与诺基因对应的神经元发送其轴突的那些神经元相互连接。 每个noruen集成了来自连接的尖峰神经元的输入尖峰，并响应超过阈值的积分输入尖峰产生尖峰。 每个相应的神经元可以有一个noruen。 对于通过其轴突通过突触连接到第二神经元的树突的第一神经元，通过其轴突将对应于第二神经元的诺华通过相同的突触连接到对应于第一神经元的诺华诺的树突。

公开(公告)号：US08682822B2

公开(公告)日：2014-03-25

申请号：US13527043

申请日：2012-06-19

申请人： Dharmendra S. Modha ,  Rohit S. Shenoy

发明人： Dharmendra S. Modha ,  Rohit S. Shenoy

IPC分类号： G06F15/18 ,  G06N3/08

CPC分类号： G06N3/049 ,  G06N3/0635

摘要： A system, method and computer program product produce spike-dependent plasticity in an artificial synapse. A method includes: an electronic device generating a pre-synaptic pulse that occurs a predetermined period of time after receiving a pre-synaptic spike at a first input. The electronic device generating a post-synaptic pulse that starts at a baseline value and reaches a first voltage value a first period of time after receiving a post-synaptic spike at a second input, followed by a second voltage value a second period of time after the post synaptic spike, followed by a return to said baseline voltage a third period of time after the post-synaptic spike. The generated pre-synaptic pulse is applied to a pre-synaptic node of a synaptic device in series with a rectifying element that has a turn-on voltage based on a threshold. The generated post-synaptic pulse is applied to a post-synaptic node of said synaptic device.

摘要翻译： 系统，方法和计算机程序产品在人造突触中产生尖峰依赖的可塑性。 一种方法包括：电子装置，其在接收到在第一输入端的突触前尖峰之前产生预定时间段的预触发脉冲。 所述电子设备产生突触后脉冲，其在基线值开始并在第二输入接收到突触后尖峰之后的第一时间段达到第一电压值，之后是在第二时间段之后的第二电压值 后突触尖峰，之后是在突触后尖峰之后的第三个时间段内返回到所述基线电压。 产生的突触前脉冲被施加到突触装置的突触前节点，其与具有基于阈值的导通电压的整流元件串联。 产生的突触后脉冲被施加到所述突触装置的突触后节点。

公开(公告)号：US20140081893A1

公开(公告)日：2014-03-20

申请号：US13149733

申请日：2011-05-31

申请人： Dharmendra S. Modha

发明人： Dharmendra S. Modha

IPC分类号： G06N3/06

CPC分类号： G06N3/04 ,  G06N3/049 ,  G06N3/061 ,  G06N3/063 ,  G06N3/0635 ,  G06N3/08 ,  G11C11/54 ,  Y10T428/2481

摘要： A neural system comprises multiple neurons interconnected via synapse devices. Each neuron integrates input signals arriving on its dendrite, generates a spike in response to the integrated input signals exceeding a threshold, and sends the spike to the interconnected neurons via its axon. The system further includes multiple noruens, each noruen is interconnected via the interconnect network with those neurons that the noruen's corresponding neuron sends its axon to. Each noruen integrates input spikes from connected spiking neurons and generates a spike in response to the integrated input spikes exceeding a threshold. There can be one noruen for every corresponding neuron. For a first neuron connected via its axon via a synapse to dendrite of a second neuron, a noruen corresponding to the second neuron is connected via its axon through the same synapse to dendrite of the noruen corresponding to the first neuron.

公开(公告)号：US20130159229A1

公开(公告)日：2013-06-20

申请号：US13325321

申请日：2011-12-14

申请人： Dharmendra S. Modha

发明人： Dharmendra S. Modha

IPC分类号： G06N3/04 ,  G06N3/08

CPC分类号： G06N3/08 ,  G06N3/04

摘要： In one embodiment, the present invention provides a neural network comprising multiple modalities. Each modality comprises multiple neurons. The neural network further comprises an interconnection lattice for cross-associating signaling between the neurons in different modalities. The interconnection lattice includes a plurality of perception neuron populations along a number of bottom-up signaling pathways, and a plurality of action neuron populations along a number of top-down signaling pathways. Each perception neuron along a bottom-up signaling pathway has a corresponding action neuron along a reciprocal top-down signaling pathway. An input neuron population configured to receive sensory input drives perception neurons along a number of bottom-up signaling pathways. A first set of perception neurons along bottom-up signaling pathways drive a first set of action neurons along top-down signaling pathways. Action neurons along a number of top-down signaling pathways drive an output neuron population configured to generate motor output.

摘要翻译： 在一个实施例中，本发明提供一种包括多种模态的神经网络。 每个模式包括多个神经元。 神经网络还包括用于以不同模态交叉关联神经元之间的信令的互连网格。 互连晶格包括沿着多个自下而上的信号通路的多个感知神经元群体，以及沿许多自上而下信号通路的多个动作神经元群体。 沿着自下而上的信号通路的每个感知神经元沿着互倒的自上而下的信号通路具有相应的动作神经元。 配置为接收感觉输入的输入神经元群沿着许多自下而上的信号通路驱动感知神经元。 沿着自下而上信号通路的第一组感知神经元沿着上下信号通路驱动第一组动作神经元。 沿着多个自上而下信号通路的动作神经元驱动配置成产生电动机输出的输出神经元群体。

公开(公告)号：US08463723B2

公开(公告)日：2013-06-11

申请号：US12395693

申请日：2009-03-01

申请人： Dharmendra S. Modha ,  Chandrasekhar Narayan ,  John C. Scott

发明人： Dharmendra S. Modha ,  Chandrasekhar Narayan ,  John C. Scott

IPC分类号： G06F15/18 ,  G06J1/00 ,  G06N3/00

CPC分类号： G06N3/0635

摘要： An electronic synapse device is provided. One embodiment of the invention includes a metastable switching synaptic device. Changing conductance of the metastable switching synaptic device occurs by receiving opposite signed first and second voltage pulses at the metastable switching synaptic device where magnitude of the first voltage pulse and the second voltage pulse each are below a switching voltage magnitude threshold. A magnitude difference between the first voltage pulse and the second voltage pulse exceeds the switching voltage magnitude threshold by an amount, wherein the amount is a function of a relative timing between the first voltage pulse and the second voltage pulse.

摘要翻译： 提供电子突触装置。 本发明的一个实施例包括亚稳态切换突触装置。 通过在亚稳切换突触装置处接收相反的有符号的第一和第二电压脉冲，其中第一电压脉冲和第二电压脉冲的大小低于开关电压幅度阈值，来改变亚稳切换突触装置的电导。 第一电压脉冲和第二电压脉冲之间的幅度差超过开关电压幅度阈值一个量，其中该量是第一电压脉冲和第二电压脉冲之间的相对定时的函数。