Att lära sig en algoritm från exempel är ett grundläggande problem som har studerats vida omkring. Det har behandlats med hjälp av neurala nätverk också, särskilt av Neural Turing Machines (NTMs). Dessa är helt olika datorer som använder backpropagation för att lära sig sin egen programmering. Trots deras överklagande NTM:er har en svaghet som orsakas av deras sekventiella natur: de är inte parallella och är svåra att träna på grund av deras stora djup när de utvecklas. Vi presenterar en neural nätverk arkitektur för att ta itu med detta problem: Neural GPU. Det är baserat på en typ av konvolutionell grind återkommande enhet och, som NTM, är beräkningsmässigt universell. Till skillnad från NTM, Neural GPU är mycket parallell vilket gör det lättare att träna och effektiv att köra. En väsentlig egenskap hos algoritmer är deras förmåga att hantera ingångar av godtycklig storlek. Vi visar att Neural GPU kan tränas på korta fall av en algoritmisk uppgift och framgångsrikt generalisera till långa fall. Vi verifierade det på ett antal uppgifter inklusive lång addition och lång multiplikation av tal representerade i binära. Vi tränar Neural GPU på siffror med upp till 20 bitar och observerar inga fel alls när du testar det, även på mycket längre nummer. För att uppnå dessa resultat introducerar vi en teknik för att träna djupa återkommande nätverk: parameter dela avkoppling. Vi fann också en liten mängd avhopp och lutning buller att ha en stor positiv effekt på lärande och generalisering.
Kaiser och Sutskever REF presenterar Neural GPU, en neural nätverksarkitektur som kan lösa algoritmiska uppgifter.
Neural GPUs Learn Algorithms
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}