Det finns en hel del forskning intresse för att koda variabel längd meningar i fasta längd vektorer, på ett sätt som bevarar meningen betydelser. Två vanliga metoder inkluderar representationer baserade på genomsnitt ordvektorer, och representationer baserade på dolda tillstånd av återkommande neurala nätverk såsom LSTMs. Den mening vektorer används som funktioner för efterföljande maskininlärning uppgifter eller för förutbildning i samband med djupt lärande. Dock är inte mycket känt om de egenskaper som kodas i dessa mening representationer och om den språkinformation de fångar. Vi föreslår en ram som underlättar en bättre förståelse av de kodade representationerna. Vi definierar förutsägelseuppgifter kring isolerade aspekter av meningsstruktur (nämligen meningslängd, ordinnehåll och ordordning) och poäng representationer av förmågan att träna en klassificering för att lösa varje förutsägelse uppgift när du använder representationen som indata. Vi demonstrerar det potentiella bidraget från tillvägagångssättet genom att analysera olika meningsrepresentationsmekanismer. Analysen kastar ljus över de relativa styrkorna hos olika meningar som inbäddar metoder med avseende på dessa lågnivåförutsägelseuppgifter, och över effekten av den kodade vektorns dimensionalitet på de resulterande representationerna.
Men även icke-optimerade genomsnittliga ord inbäddningar kan koda värdefull information om meningen, såsom dess längd och ordinnehåll REF.
Fine-grained Analysis of Sentence Embeddings Using Auxiliary Prediction Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}