Ett hett CNN (konvolutionellt neuralt nätverk) har visat sig vara effektivt för textkategorisering (Johnson & Zhang, 2015a; b). Vi ser det som ett specialfall av en allmän ram som tillsammans tränar en linjär modell med en icke-linjär funktionsgenerator som består av "textregion inbäddning + pooling". Inom ramen för detta utforskar vi en mer sofistikerad regions inbäddningsmetod med hjälp av Long Short-Term Memory (LSTM). LSTM kan bädda in textregioner av varierande (och möjligen stora) storlekar, medan regionstorleken måste fastställas i ett CNN. Vi söker effektiv och effektiv användning av LSTM för detta ändamål i de övervakade och halvövervakade inställningarna. De bästa resultaten erhölls genom att kombinera regioninbäddningar i form av LSTM- och konvolutionslager tränade på omärkta data. Resultaten visar att i denna uppgift är inbäddningar av textregioner, som kan förmedla komplexa begrepp, mer användbara än inbäddningar av enstaka ord isolerat. Vi rapporterar resultat som överstiger de tidigare bästa resultaten på fyra referensdatauppsättningar.
En forskning REF föreslog övervakade och halvövervakade metoder baserade på LSTM som använde regional inbäddningsmetod för inbäddning av textregioner med justerbara dimensioner.
Supervised and Semi-Supervised Text Categorization using LSTM for Region Embeddings
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}