Vi introducerar LAMBADA, ett dataset för att utvärdera kapaciteten hos beräkningsmodeller för textförståelse med hjälp av ett ordförutsägelseuppdrag. LAMBADA är en samling berättande avsnitt som delar egenskapen att människor kan gissa sitt sista ord om de utsätts för hela passagen, men inte om de bara ser den sista meningen före målordet. För att lyckas med LAM-BADA kan beräkningsmodellerna inte bara förlita sig på lokala sammanhang, utan måste kunna hålla reda på informationen i den bredare diskussionen. Vi visar att LAMBADA exemplifierar ett brett spektrum av språkliga fenomen, och att ingen av flera toppmoderna språkmodeller uppnår noggrannhet över 1 procent på detta nya riktmärke. Vi föreslår därför LAMBADA som en utmanande testuppsättning, som syftar till att uppmuntra utvecklingen av nya modeller som kan ge genuin förståelse för ett brett sammanhang i naturlig språktext.
LAMBADA REF tog bort det sista ordet från ett givet avsnitt och utvärderar förmågan av ordförutsägelse.
The LAMBADA dataset: Word prediction requiring a broad discourse context
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}