Senaste arbetet med hjälp av extra förutsägelse uppgift klassificerare för att undersöka egenskaperna hos LSTM representationer har börjat sprida ljus över varför pretränade representationer, som ELMo (Peters et al., 2018) och CoVe (McCann et al., 2017), är så fördelaktigt för neural språk förståelse modeller. Vi har dock ännu inte en klar förståelse för hur valet av mål för förutbildningen påverkar den typ av språklig information som modellerna lär sig. Med detta i åtanke jämför vi fyra mål-språk modellering, översättning, skip-thought, och autoencoding-på deras förmåga att framkalla syntaktik och del-av-tal information. Vi gör en rättvis jämförelse mellan uppgifterna genom att hålla konstant kvantitet och genre av träningsdata, samt LSTM arkitektur. Vi finner att representationer från språkmodeller konsekvent presterar bäst på våra syntaktiska extra förutsägelser uppgifter, även när tränas på relativt små mängder data. Dessa resultat tyder på att språkmodellering kan vara den bästa datarika förutbildningen för överföring av inlärningstillämpningar som kräver syntaktisk information. Vi finner också att representationerna från slumpmässigt initierade, frysta LSTMs presterar slående bra på våra syntaktiska hjälpuppgifter, men denna effekt försvinner när mängden träningsdata för de extra uppgifterna minskas. * Majoriteten av det arbete som utfördes vid universitetet i New York. 1 Även om Belinkov et al. (2017a) finner att översättning till morfologiskt sämre språk leder till en liten förbättring av kodare representationer, vi förväntar oss att vår studie av engelsk-tyska översättning kommer att ge en rimlig helhetsbild av de representationer som kan läras i datarik översättning.
REF visar att språkmodeller använder mer syntaktisk och morfologisk information än översättningsmodeller.
Language Modeling Teaches You More Syntax than Translation Does: Lessons Learned Through Auxiliary Task Analysis
{'venue': 'Blackbox NLP Workshop, EMNLP 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}