Vi introducerar ett nytt test på hur väl språkmodeller fångar mening i barnböcker. Till skillnad från standard språk modellering riktmärken, skiljer den uppgiften att förutsäga syntaktiska funktion ord från att förutsäga lägre frekvens ord, som bär större semantiskt innehåll. Vi jämför en rad state-of-the-art modeller, var och en med ett annat sätt att koda vad som tidigare har lästs. Vi visar att modeller som lagrar explicita representationer av långsiktiga sammanhang överträffar toppmoderna neurala språkmodeller på att förutsäga semantiska innehållsord, även om denna fördel inte observeras för syntaktiska funktionsord. Intressant nog finner vi att mängden text som kodas i en enda minnesrepresentation är mycket inflytelserik för föreställningen: det finns en sötpunkt, inte för stor och inte för liten, mellan enstaka ord och fullständiga meningar som gör att den mest meningsfulla informationen i en text kan behållas och återkallas på ett effektivt sätt. Dessutom kan uppmärksamheten över sådana fönsterbaserade minnen tränas effektivt genom självövervakning. Vi bedömer därefter den allmänna principen genom att tillämpa den på CNN QA-riktmärket, vilket innebär att identifiera namngivna enheter i parafraserade sammanfattningar av nyhetsartiklar, och uppnå toppmoderna resultat.
REF släppte en annan datauppsättning som härrör från barnboken och föreslog ett fönsterbaserat minnesnätverk.
The Goldilocks Principle: Reading Children's Books with Explicit Memory Representations
{'venue': 'ICLR 2016', 'journal': 'arXiv: Computation and Language', 'mag_field_of_study': ['Computer Science']}