Neurala nätverk kan lära sig att representera och manipulera numerisk information, men de generaliserar sällan långt utanför det intervall av numeriska värden som förekommer under utbildningen. För att uppmuntra mer systematisk numerisk extrapolering föreslår vi en arkitektur som representerar numeriska storheter som linjär aktivering som manipuleras med hjälp av primitiva aritmetiska operatörer, som styrs av inlärda grindar. Vi kallar denna modul en neural aritmetisk logik enhet (NALU), analogt med den aritmetiska logik enhet i traditionella processorer. Experiment visar att NALU-förstärkta neurala nätverk kan lära sig att spåra tid, utföra aritmetiska över bilder av siffror, översätta numeriska språk till verkliga-värderade skaklar, köra datorkod, och räkna objekt i bilder. I motsats till konventionella arkitekturer får vi betydligt bättre generalisering både inom och utanför det område av numeriska värden som förekommer under utbildningen, ofta extrapolering av storleksordningar utöver utbildade numeriska intervall.
På samma sätt presenterar REF en neural Aritmetic Logic Unit (NALU) som använder gated base funktioner för att möjliggöra bättre generalisering till aritmetisk funktionalitet.
Neural Arithmetic Logic Units
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}