-
公开(公告)号:WO2023091061A1
公开(公告)日:2023-05-25
申请号:PCT/SE2022/051050
申请日:2022-11-10
Applicant: TELEFONAKTIEBOLAGET LM ERICSSON (PUBL)
Inventor: VERES, András , RÁCZ, András , HÁGA, Péter , KENESI, Zsolt , BORSOS, Tamas
IPC: G06N3/049 , G06N3/063 , H04B1/00 , H04B7/0413 , H04L5/00 , H04L27/26 , H04L27/20 , H04W16/00 , H04W80/00 , H04W84/00
Abstract: A method by a neuromorphic device in a wireless communication network which communicates using radio frames and carrier frequencies. The method includes obtaining a high dimensional (HD) vector containing symbols. At least some symbols have a value indicating a pattern of firing events for associated one or more neurons of a neural network (NN). For each symbol in the HD vector having a nonzero value, selecting a subframe of a radio frame and/or a carrier frequency among a set of carrier frequencies, based on a defined mapping between subframes of the radio frame and/or carrier frequencies of the set and the locations of symbols in the HD vector, determining a time offset relative to the selected subframe and/or a frequency offset relative to the selected carrier frequency, based on the value of the symbol, and transmitting an impulse at the determined time offset relative to the selected subframe and/or at the determined frequency offset relative to the selected carrier frequency. (Figure 7)
-
公开(公告)号:WO2023091060A1
公开(公告)日:2023-05-25
申请号:PCT/SE2022/051049
申请日:2022-11-10
Applicant: TELEFONAKTIEBOLAGET LM ERICSSON (PUBL)
Inventor: VERES, András , RÁCZ, András , KENESI, Zsolt , HÁGA, Péter , BORSOS, Tamas
Abstract: A method by a neuromorphic device in a wireless communication network which communicates using radio resource elements. The method includes obtaining a high dimensional (HD) vector containing symbols indicating whether a firing event occurred for associated neurons of a neural network. For each of at least some symbols in the HD vector which indicate the firing event occurred for an associated at least one neuron, the method includes transmitting an impulse using a radio resource element which is mapped to a location of the symbol in the HD vector. Individual locations of symbols in the HD vector have a defined mapping to individual ones of the radio resource elements.
-
公开(公告)号:WO2023085458A1
公开(公告)日:2023-05-19
申请号:PCT/KR2021/016377
申请日:2021-11-11
Applicant: 한국전자기술연구원
Abstract: 경량 딥러닝 학습 메모리 제어 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 딥러닝 네트워크 학습 방법은, 배치를 구성하는 다수의 학습 데이터들을 딥러닝 네트워크에 하나씩 입력하면서 추론 데이터를 생성하고, 추론 데이터가 생성될 때마다 딥러닝 네트워크의 웨이트를 업데이트하기 위한 배치 연산을 수행하며, 배치를 구성하는 모든 학습 데이터들에 대해 생성단계와 수행단계가 종료되면 배치 연산 결과를 이용하여 웨이트를 업데이트 한다. 이에 의해, 배치를 구성하는 학습 데이터들에 대해 하나씩 추론 데이터들을 생성해 가면서 그 때마다 배치 연산을 수행함으로써, 모바일 디바이스와 같이 리소스가 충분하지 못한 디바이스에서도 배치 크기에 대한 제한 없이 딥러닝 네트워크를 학습시킬 수 있게 된다.
-
公开(公告)号:WO2023085442A1
公开(公告)日:2023-05-19
申请号:PCT/KR2021/016178
申请日:2021-11-09
Applicant: 한국전자기술연구원
Abstract: 고정확도 딥러닝 연산 장치가 제공된다. 본 발명의 실시예에 따른 Adder Tree 연산 장치는, 제1 데이터를 입력받는 제1 레지스터, 제2 데이터를 입력받는 제2 레지스터, 제1 데이터의 exponent와 제2 데이터의 exponent를 비교하는 비교기, 비교기의 비교 결과를 기초로 제1 데이터와 제2 데이터 중 하나는 변환기로 전달하고 다른 하나는 버퍼로 전달하는 스위치, 전달되는 데이터의 exponent를 변환하는 변환기, 전달되는 데이터를 저장하였다가 그대로 출력하는 버퍼 및 변환기에서 출력되는 데이터와 버퍼에서 출력되는 데이터를 덧셈하는 덧셈기를 포함한다. 이에 의해, Adder Tree 연산에서 덧셈할 두 데이터의 exponent를 더 작은 exponent로 변환하여 덧셈함으로써, 연산에 필요한 메모리를 획기적으로 줄여, 리소스에 제한이 있는 디바이스의 딥너링 가속장치에서도 문제 없는 Adder Tree 연산을 가능하게 한다.
-
公开(公告)号:WO2023080701A1
公开(公告)日:2023-05-11
申请号:PCT/KR2022/017203
申请日:2022-11-04
Applicant: 서울대학교산학협력단
Abstract: 본 발명의 일 측면에 따른 스파이킹 뉴럴 네트워크 제공 장치는 복수의 뉴런 계층과 복수의 시냅스 계층을 모사하고, 스파이크 신호를 처리하며, 각 뉴런 계층에 대해 바이어스를 제공하는 타이밍에 소정의 지연을 적용하는 것이다. 이로 인해, 본 발명에서 제안하는 스파이킹 뉴럴 네트워크 제공 장치는 시냅스 계층이나 뉴런 계층의 레이턴시에 맞춰 바이어스가 인가되기 때문에 과잉 억제 및 발화 현상을 감소시켜, 좀 더 정확하고 빠른 성능의 스파이킹 뉴럴 네트워크를 구현할 수 있다.
-
公开(公告)号:WO2023070324A1
公开(公告)日:2023-05-04
申请号:PCT/CN2021/126456
申请日:2021-10-26
Applicant: INTEL CORPORATION , SHEN, Haihao , MENG, Hengyu , TIAN, Feng
Inventor: SHEN, Haihao , MENG, Hengyu , TIAN, Feng
IPC: G06N3/063
Abstract: The present disclosure discloses a hardware-aware cost model for optimizing inference of a deep neural network (DNN) comprising: a computation cost estimator configured to compute estimated computation cost based on input tensor, weight tensor and output tensor from the DNN; and a memory/cache cost estimator configured to perform memory/cache cost estimation strategy based on hardware specifications, wherein the hardware-aware cost model is used to perform performance simulation on target hardware to provide dynamic quantization knobs to quantization as required for converting a conventional precision inference model to an optimized inference model based on the result of the performance simulation.
-
公开(公告)号:WO2023068489A1
公开(公告)日:2023-04-27
申请号:PCT/KR2022/009974
申请日:2022-07-08
Applicant: 삼성전자 주식회사
Abstract: 일 실시예에 따른 연산 회로는, 복수의 정수들 중 제1 정수 및 제2 정수를 결합하는 결합기를 포함할 수 있다. 상기 연산 회로는, 제1 데이터 타입에 의해 구별되는 부동 소수점 수의 가수들에 대응하는 비트들의 곱을 획득하기 위한 곱셈기를 포함할 수 있다. 상기 복수의 정수들 중 제3 정수가 상기 곱셈기의 제1 포트로 입력될 수 있고, 상기 제1 정수 및 상기 제2 정수의 결합을 나타내는 제4 정수가 상기 곱셈기의 제2 포트로 입력될 수 있다. 상기 연산 회로는, 상기 제1 정수 및 상기 제3 정수의 곱을 나타내는 제6 정수, 및 상기 제2 정수 및 상기 제3 정수의 곱을 나타내는 제7 정수를 출력하는 변환기를 포함하는 연산 회로를 포함할 수 있다.
-
-
9.
公开(公告)号:WO2023061465A1
公开(公告)日:2023-04-20
申请号:PCT/CN2022/125299
申请日:2022-10-14
Applicant: HUAWEI TECHNOLOGIES CO., LTD.
Inventor: HAJIMOLAHOSEINI, Habib , KUMAR, Kaushal , DENG, Gordon
IPC: G06N3/063
Abstract: Methods, systems and media for computer vision using 2D convolution of 4D video data tensors are described. 3D convolution operations performed on 5D input tensors are simulated by performing 2D convolution of 4D tensors instead. A convolution block of a CNN performs two parallel operations: a spatial processing branch performs spatial feature extraction on a 4D tensor using 2D convolution, whereas a temporal processing branch performs temporal feature extraction on a different 4D tensor using 2D convolution. The output tensors of the spatial processing branch and the temporal processing branch are combined to generate an output tensor of the convolution block. The convolution block may include additional operations such as reshaping and/or further convolution operations to generate identically-sized output tensors for each branch, thereby eliminating the need for post- processing of the branches' output tensors prior to combining them.
-
公开(公告)号:WO2023059439A1
公开(公告)日:2023-04-13
申请号:PCT/US2022/044201
申请日:2022-09-21
Applicant: GOOGLE LLC
Inventor: LI, Sheng , TAN, Mingxing , JOUPPI, Norman Paul , LE, Quoc V. , CHENG, Liqun , PANG, Ruoming , RANGANATHAN, Parthasarathy
Abstract: Aspects of the disclosure provide for hardware-aware progressive training of machine learning models. A training system trains a model in accordance with a training process and different values specified in a training schedule for both hardware-level and model-level performance settings. Hardware-level performance settings can cause hardware features of computing resources used to train the model to be enabled, disabled, or modified at various points during training. Model-level performance settings can take on a variety of values to adjust characteristics of the machine learning model being trained or of the training process, during different stages of training. The training system can identify and apply complementary values of hardware- and model-level performance settings to generate training schedules that improve model training speed at earlier stages of training, while improving model quality at later stages of training.
-
-
-
-
-
-
-
-
-