Neurala nätverk är mycket kraftfulla inlärningssystem, men de generaliserar inte lätt från en uppgift till en annan. Detta beror delvis på att de inte lär sig på ett kompositionellt sätt, det vill säga genom att upptäcka färdigheter som delas av olika uppgifter och kombinera dem för att lösa nya problem. I detta dokument utforskar vi kompositionella generaliseringsmöjligheter i återkommande neurala nätverk (RNN). Vi föreslår först uppslagstabellen sammansättning domän som en enkel uppsättning för att testa komposition beteende och visa att det är teoretiskt möjligt för en standard RNN att lära sig att bete sig kompositionellt i detta område när tränas med standard lutning nedstigning och förses med ytterligare övervakning. Vi tar sedan bort denna extra övervakning och utför en sökning över ett stort antal modeller initieringar för att undersöka andelen RNN som fortfarande kan konvergera till en kompositionslösning. Vi upptäcker att en liten men icke försumbar andel av RNN når delvis sammansatta lösningar även utan särskilda arkitektoniska begränsningar. Detta tyder på att en kombination av lutningsnedstigning och evolutionära strategier som direkt gynnar de minoritetsmodeller som utvecklade mer sammansatta metoder kan räcka för att leda standard RNN mot kompositionslösningar.
REF föreslår att den genomsnittliga utbildningen för återkommande neurala nätverk inte konvergerar till en kompositionslösning, men att en stor slumpmässig sökning kommer att producera kompositionslösningar.
Memorize or generalize? Searching for a compositional RNN in a haystack
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}