Toppmoderna LSTM språkmodeller utbildade på stora corpora lär sekventiella oförutsedda händelser i imponerande detalj och har visat sig förvärva ett antal icke-lokala grammatiska beroenden med viss framgång. Här undersöker vi om övervakning med hierarkisk struktur ökar inlärningen av en rad grammatiska beroenden, en fråga som tidigare endast behandlats för ämnesverbavtal. Med hjälp av kontrollerade experimentella metoder från psykolingvistik jämför vi prestandan hos ordbaserade LSTM-modeller jämfört med två modeller som representerar hierarkisk struktur och distribuerar den i vänster-till-höger bearbetning: Recurrent Neural Network Grammars (RNNGs) och en inkrementell version av Parsing-as-Language-Modellering konfiguration från Charniak et al. (2016). Modeller testas på ett varierat utbud av konfigurationer för två klasser av icke-lokala grammatiska beroenden i engelsk-Negative Polarity-licensiering och Filler-Gap-beroenden. Med hjälp av samma träningsdata över olika modeller, finner vi att strukturellt övervakade modeller överträffar LSTM, med RNNG visar bästa resultat på båda typerna av grammatiska beroenden och även lära sig många av Island Restriktioner på fyllnads-gap beroende. Strukturell övervakning ger därmed dataeffektivitet fördelar jämfört med rent strängbaserad utbildning av neurala språkmodeller i att förvärva mänskliga-liknande generaliseringar om icke-lokala grammatiska beroenden.
REF använder NPI och fyllnadsgap beroenden, som fall av icke-lokala grammatiska beroenden, för att undersöka effekten av övervakning med hierarkisk struktur.
Structural Supervision Improves Learning of Non-Local Grammatical Dependencies
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}