Recurrent Neural Network (RNN) är en av de mest populära arkitekturer som används i naturliga språkprocesser (NLP) uppgifter eftersom dess återkommande struktur är mycket lämplig för att bearbeta variabellängd text. RNN kan använda distribuerade representationer av ord genom att först konvertera tokens som består av varje text till vektorer, som bildar en matris. Och denna matris innehåller två dimensioner: tid-steg-dimensionen och funktionen vektordimensionen. Då använder de flesta befintliga modeller oftast endimensionell (1D) max pooling operation eller uppmärksamhetsbaserad operation endast på tid-steg dimension för att få en fast längd vektor. Dock funktioner på funktionen vektor dimension är inte ömsesidigt oberoende, och helt enkelt tillämpa 1D pooling operation över tid-steg dimension självständigt kan förstöra strukturen för funktionen representation. Å andra sidan, tillämpa tvådimensionell (2D) pooling operation över de två dimensionerna kan prov mer meningsfulla funktioner för sekvensmodellering uppgifter. För att integrera funktionerna på båda dimensionerna av matrisen, undersöker detta papper tillämpa 2D max pooling operation för att få en fast längd representation av texten. Detta papper använder också 2D-konvolution för att ta prover mer meningsfull information om matrisen. Experiment utförs på sex textklassificeringsuppgifter, inklusive känsloanalys, frågeklassificering, ämnesklassificering och nyhetsgruppsklassificering. Jämfört med de senaste modellerna uppnår de föreslagna modellerna utmärkta resultat på 4 av 6 uppgifter. Särskilt en av de föreslagna modellerna uppnår högsta noggrannhet på Stanford Sentiment Treebank binär klassificering och finkornig klassificering uppgifter.
Uppmärksamhetsmekanismen används för textklassificeringen REF.
Text Classification Improved by Integrating Bidirectional LSTM with Two-dimensional Max Pooling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}