Vi beskriver en metod för oövervakad inlärning av en generisk, distribuerad mening kodare. Med hjälp av textkontinuiteten från böcker tränar vi en kodaremodell som försöker rekonstruera de omgivande meningarna i en kodad passage. Domar som delar semantiska och syntaktiska egenskaper kartläggs därför till liknande vektorrepresentationer. Därefter introducerar vi en enkel vokabulärexpansionsmetod för att koda ord som inte sågs som en del av träningen, så att vi kan utöka vårt vokabulär till en miljon ord. Efter att ha tränat vår modell extraherar och utvärderar vi våra vektorer med linjära modeller på 8 uppgifter: semantisk relativitet, parafrasdetektering, bild-sentens rankning, frågetypsklassificering och 4 benchmark-känslor och subjektivitetsdataset. Slutresultatet är en off-the-shelf kodare som kan producera mycket generiska meningsrepresentationer som är robusta och fungerar bra i praktiken. Vi kommer att göra vår kodare tillgänglig för allmänheten.
REF beskrev ett tillvägagångssätt för oövervakad inlärning av att rekonstruera de omgivande meningarna i en kodad passage med hjälp av en kodare-dekoder-modell.
Skip-Thought Vectors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}