Vi presenterar MAC-nätverket, en ny helt olika neurala nätverksarkitektur, utformad för att underlätta explicit och uttrycksfullt resonemang. MAC flyttar bort från monolitiska Black-box neurala arkitekturer mot en design som uppmuntrar både transparens och mångsidighet. Modellen närmar sig problem genom att bryta ner dem i en serie av uppmärksamhetsbaserade resonemang steg, var och en utförs av en ny återkommande minne, uppmärksamhet och sammansättning (MAC) cell som upprätthåller en separation mellan kontroll och minne. Genom att binda ihop cellerna och införa strukturella begränsningar som reglerar deras interaktion lär sig MAC effektivt att utföra iterativa resonemangsprocesser som direkt kan härledas från data i ett end-to-end tillvägagångssätt. Vi demonstrerar modellens styrka, robusthet och tolkningsförmåga på den utmanande CLEVR-datauppsättningen för visuellt resonemang och uppnår en ny toppmodern 98,9% noggrannhet, vilket halverar felfrekvensen för den tidigare bästa modellen. Viktigare är att vi visar att modellen är beräkningseffektiv och dataeffektiv, i synnerhet kräver 5x mindre data än befintliga modeller för att uppnå starka resultat.
MAC-nätverket REF kombinerar visuell och språklig uppmärksamhet för kompositionellt visuellt resonemang.
Compositional Attention Networks for Machine Reasoning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}