Rețelele de memorie pe termen scurt în bara transversală a memristorului aranjează Nature Machine Intelligence

Subiecte

Abstract

Descoperirile recente în rețelele neuronale profunde recurente cu unități de memorie pe termen scurt (LSTM) au condus la progrese majore în inteligența artificială. Cu toate acestea, modelele LSTM de ultimă generație cu o complexitate semnificativ crescută și un număr mare de parametri au un blocaj în puterea de calcul rezultată atât din capacitatea limitată de memorie, cât și din lățimea de bandă de comunicare a datelor. Aici demonstrăm experimental că greutățile sinaptice împărțite în pași de timp diferiți într-un LSTM pot fi implementate cu o matrice transversală memristor, care are o amprentă de circuit mică, poate stoca un număr mare de parametri și oferă capacitate de calcul în memorie care contribuie la eludarea „gâtuiala lui von Neumann”. Ilustrăm capacitatea sistemului nostru cu bare transversale ca o componentă de bază în rezolvarea problemelor din regiune și clasificare, ceea ce arată că memristor LSTM este o platformă hardware promițătoare cu putere redusă și latență redusă pentru inferența marginilor.

Opțiuni de acces

Abonați-vă la Jurnal

Obțineți acces complet la jurnal timp de 1 an

doar 7,71 EUR pe număr

Toate prețurile sunt prețuri NET.
TVA va fi adăugat mai târziu în casă.

Închiriați sau cumpărați articol

Obțineți acces limitat la timp sau la articol complet pe ReadCube.

Toate prețurile sunt prețuri NET.

rețelele

Disponibilitatea datelor

Datele care susțin comploturile din această lucrare și alte constatări ale acestui studiu sunt disponibile de la autorul relevant, la cerere rezonabilă. Codul care susține comploturile din acest articol și alte constatări ale acestui studiu sunt disponibile la http://github.com/lican81/memNN. Codul care acceptă comunicarea între sistemul de măsurare personalizat și cipul integrat este disponibil de la autorul corespunzător, la cerere rezonabilă.

Referințe

LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Natură 521, 436–444 (2015).

Hochreiter, S. & Schmidhuber, J. Memorie pe termen scurt. Neural Comput. 9, 1735–1780 (1997).

Gers, F. A., Schmidhuber, J. & Cummins, F. Învățarea de a uita: predicție continuă cu LSTM. Neural Comput. 12, 2451–2471 (2000).

Schmidhuber, J., Wierstra, D. & Gomez, F. Evolino: neuroevoluție hibridă/liniară optimă. În Proc 19-a conferință internațională comună privind inteligența artificială 853–858 (Morgan Kaufmann, San Francisco, 2005).

Bao, W., Yue, J. & Rao, Y. Un cadru de învățare profundă pentru seriile de timp financiar folosind autoencodere stivuite și memorie pe termen scurt. Plus unu 12, e0180944 (2017).

Jia, R. și Liang, P. Recombinarea datelor pentru analiza semantică neuronală. În Proc. A 54-a reuniune anuală a Asociației pentru Lingvistică Computațională (eds Erk, K. & Smith, N. A.) 12–22 (Association for Computational Linguistics, 2016).

Karpathy, A. Eficacitatea nerezonabilă a rețelelor neuronale recurente. Blogul Andrej Karpathy http://karpathy.github.io/2015/05/21/rnn-effectiveness/ (2015).

Wu, Y. și colab. Sistemul de traducere automată neuronală de la Google: reducerea decalajului dintre traducerea umană și cea automată. Preimprimare la https://arxiv.org/abs/1609.08144 (2016).

Xiong, W. și colab. Sistemul Microsoft 2017 de recunoaștere a vorbirii conversaționale. În Conferința internațională IEEE 2018 privind acustica, vorbirea și procesarea semnalului (ICASSP) 5934-5938 (IEEE, 2018).

Sudhakaran, S. & Lanz, O. Învățarea de a detecta videoclipuri violente folosind memoria convoluțională pe termen scurt. În Proc. A 14-a conferință internațională IEEE privind supravegherea avansată pe bază de semnal și video (AVSS) 1-6 (IEEE, 2017).

Chang, A. X. M. și Culurciello, E. Acceleratoare hardware pentru rețele neuronale recurente pe FPGA. În Decembrie 2017 Simpozionul internațional IEEE pe circuite și sisteme 1-4 (IEEE, 2017).

Guan, Y., Yuan, Z., Sun, G. & Cong, J. Accelerator bazat pe FPGA pentru rețele neuronale recurente de memorie pe termen scurt. În Proc. 2017 a 22-a conferință de automatizare a designului din Asia și Pacificul de Sud 629–634 (IEEE, 2017).

Zhang, Y. și colab. Un accelerator eficient din punct de vedere energetic bazat pe FPGA-uri pentru rețeaua LSTM. În Proc. 2017 IEEE International Conference on Cluster Computing 629–630 (IEEE, 2017).

Conti, F., Cavigelli, L., Paulin, G., Susmelj, I. & Benini, L. Chipmunk: un accelerator sistematic de 0,9 mm 2, 3,08 Gop/s/mW @ 1,2 mW accelerator pentru rețea neuronală recurentă aproape de senzor inferență. În Conferința de circuite integrate personalizate IEEE 2018 (CICC) 1-4 (IEEE, 2018).

Rizakis, M., Venieris, S. I., Kouris, A. & Bouganis, C.-S. LSTM-uri aproximative bazate pe FPGA în condiții de timp de calcul. În Al 14-lea Simpozion Internațional în Calcul Reconfigurabil Aplicat (ARC) (eds Voros, N. și colab.) 3–15 (Springer, Cham, 2018).

Chua, L. Memristor - elementul circuit lipsă. IEEE Trans. Teoria circuitelor 18, 507–519 (1971).

Strukov, D. B., Snider, G. S., Stewart, D. R. & Williams, R. S. Memristorul dispărut a fost găsit. Natură 453, 80-83 (2008).

Yang, J. J., Strukov, D. B. și Stewart, D. R. Dispozitive memristive pentru calcul. Nat. Nanotehnologia. 8, 13-24 (2013).

Li, C. și colab. Procesare analogică a semnalului și a imaginii cu bare transversale mari de memristor. Nat. Electron. 1, 52-59 (2018).

Le Gallo, M. și colab. Calcul în memorie cu precizie mixtă. Nat. Electron. 1, 246–253 (2018).

Prezioso, M. și colab. Instruirea și funcționarea unei rețele neuromorfe integrate bazate pe memristori cu oxid de metal. Natură 521, 61-64 (2015).

Burr, G. W. și colab. Demonstrație experimentală și toleranță a unei rețele neuronale pe scară largă (165 000 sinapse) folosind memoria de schimbare de fază ca element de greutate sinaptică. IEEE Trans. Electron. Dispozitive 62, 3498-3507 (2015).

Yu, S. și colab. Rețea neuronală binară cu cip macro de 16 MB rram pentru clasificare și antrenament online. În 2016 IEEE International Electron Devices Meeting (IEDM) 16.2.1–16.2.4 (IEEE, 2016).