Detta papper introducerar Adaptive Computation Time (ACT), en algoritm som tillåter återkommande neurala nätverk för att lära sig hur många beräkningssteg att ta mellan att ta emot en ingång och avger en utgång. ACT kräver minimala ändringar i nätverksarkitekturen, är deterministisk och differentierad, och lägger inte till något buller i parametergradienterna. Experimentella resultat ges för fyra syntetiska problem: bestämma paritet binära vektorer, tillämpa binär logik operationer, lägga till heltal, och sortering reella tal. Sammantaget förbättras prestandan dramatiskt genom användning av ACT, som med framgång anpassar antalet beräkningssteg till problemets krav. Vi presenterar även resultat från språkmodellering på teckennivå på Hutter-priset Wikipedia-datauppsättningen. I detta fall ger ACT inte stora resultatvinster; men det ger en spännande inblick i datastrukturen, med mer beräkning som är allokerad till svårare prediktiva övergångar, såsom mellanslag mellan ord och meningar. Detta tyder på att ACT eller andra adaptiva beräkningsmetoder skulle kunna ge en generisk metod för att fastställa segmentgränser i sekvensdata.
ACT infördes genom REF för återkommande neurala nätverk där nätverket anpassar antalet beräkningar
Adaptive Computation Time for Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}