Vi presenterar nya metoder för att analysera aktiveringsmönster för återkommande neurala nätverk ur ett språkligt perspektiv och utforska vilka typer av språklig struktur de lär sig. Som en fallstudie använder vi en standard fristående språkmodell, och en multi-task gated återkommande nätverk arkitektur som består av två parallella vägar med delade ord inbäddade: VISUAL vägen tränas på att förutsäga representationer av den visuella scenen som motsvarar en ingång mening, och TEXTUAL väg tränas för att förutsäga nästa ord i samma mening. Vi föreslår en metod för att uppskatta mängden bidrag från enskilda polletter i inmatningen till den slutliga förutsägelsen av nätverken. Med hjälp av denna metod, visar vi att VISUAL vägen ägnar selektiv uppmärksamhet åt lexikala kategorier och grammatiska funktioner som bär semantisk information, och lär sig att behandla ordtyper olika beroende på deras grammatiska funktion och deras position i den sekventiella strukturen av meningen. Däremot är språkmodellerna jämförelsevis känsligare för ord med syntaktisk funktion. Ytterligare analys av de mest informativa n-gramsammanhangen för varje modell visar att i jämförelse med VISUAL-vägen reagerar språkmodellerna starkare på abstrakta sammanhang som representerar syntaktiska konstruktioner.
I REF föreslås metoder för att analysera RNN:s aktiveringsmönster ur språklig synvinkel.
Representation of Linguistic Form and Function in Recurrent Neural Networks
{'venue': 'Computational Linguistics', 'journal': 'Computational Linguistics', 'mag_field_of_study': ['Computer Science']}