Människor kan förstå och producera nya uttalanden utan ansträngning, tack vare sina kompositionsfärdigheter. När en person lär sig betydelsen av ett nytt verb "dax", kan han eller hon omedelbart förstå innebörden av "dax två gånger" eller "sing and dax". I detta dokument introducerar vi SCAN-domänen, som består av en uppsättning enkla kompositionsnavigeringskommandon parade med motsvarande åtgärdssekvenser. Vi testar sedan den noll-shot generalisering kapacitet av en mängd återkommande neurala nätverk (RNN) tränas på SCAN med sekvens-till-sekvens metoder. Vi finner att RNNs kan göra framgångsrika noll-shot generaliseringar när skillnaderna mellan träning och testkommandon är små, så att de kan tillämpa "mix-and-match" strategier för att lösa uppgiften. Men när generaliseringen kräver systematiska kompositionsfärdigheter (som i exemplet "dax" ovan), misslyckas RNNs spektakulärt. Vi avslutar med ett proof-of-concept experiment i neural maskinöversättning, vilket tyder på att brist på systematiskhet kan vara delvis ansvarig för neurala nätverk ökända träningsdata törst.
Rekursiva neurala nätverk kan utan tvekan koda kompositionsprocesser direkt, men det har nyligen visat sig i Lake och REF att de misslyckas i en proof-of-concept neural maskin översättning uppgift.
Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science']}