Människor kan förstå och producera nya uttalanden utan ansträngning, tack vare sina systematiska kompositionsfärdigheter. När en person lär sig betydelsen av ett nytt verb "dax", kan han eller hon omedelbart förstå innebörden av "dax två gånger" eller "sing and dax". I detta dokument introducerar vi SCAN-domänen, som består av en uppsättning enkla kompositionsnavigeringskommandon parade med motsvarande åtgärdssekvenser. Vi testar sedan den noll-shot generalisering kapacitet av en mängd återkommande neurala nätverk (RNN) tränas på SCAN med sekvens-till-sekvens metoder. Vi finner att RNNs kan generalisera väl när skillnaderna mellan träning och testkommandon är små, så att de kan tillämpa "mix-and-match" strategier för att lösa uppgiften. Men när generaliseringen kräver systematiska kompositionsfärdigheter (som i exemplet "dax" ovan), misslyckas RNNs spektakulärt. Vi avslutar med ett proof-of-concept experiment i neural maskinöversättning, stödja antagandet att brist på systematiskhet är en viktig faktor som förklarar varför neurala nätverk behöver mycket stora träningsset.
Slutligen, kompositionsfärdigheter i sekvens-till-sekvens recure-rent nätverk har nyligen utvärderats inom ramen för en enkel kompositionsnavigering miljö, visar att RNNs misslyckas när generalisering kräver systematiska kompositionsfärdigheter REF.
Still not systematic after all these years: On the compositional skills of sequence-to-sequence recurrent networks
{'venue': 'Lake, B. M. and Baroni, M. (2018). Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks. International Conference on Machine Learning (ICML)', 'journal': None, 'mag_field_of_study': ['Computer Science']}