Den exponentiella ökningen av online-recensioner och rekommendationer gör dokumentklassificering och känsloanalys till ett hett ämne inom akademisk och industriell forskning. Traditionella djupt lärande baserade dokumentklassificeringsmetoder kräver användning av fullständig textinformation för att extrahera funktioner. För att ta itu med det långa dokumentet föreslog vi i detta dokument tre metoder som använder sig av lokal sammanläggning av konvolutionsfunktioner för att genomföra dokumentklassificeringen. Den första föreslagna metoden ritar slumpmässigt block av kontinuerliga ord i det fullständiga dokumentet. Varje block matas sedan in i konvolution neurala nätverket för att extrahera funktioner och sedan konkateneras tillsammans för att producera klassificeringsannolikheten genom en klassificering. Den andra modellen förbättrar den första genom att fånga den kontextuella ordningsinformationen för de provade blocken med ett återkommande neuralt nätverk. Den tredje modellen är inspirerad av den återkommande uppmärksamhetsmodellen (RAM), där en förstärkande inlärningsmodul introduceras för att fungera som en controller för att välja nästa blockposition baserat på det återkommande tillståndet. Experiment på vår insamlade fyrklassig arXiv pappersdatauppsättning visar att de tre föreslagna modellerna alla fungerar bra, och RAM-modellen uppnår bästa testnoggrannhet med minst information. Trots framgången med djupinlärning baserade metoder för korta dokument klassificering, för långa dokument, såsom långa artiklar, akademiska uppsatser, och romaner, bland annat, direkt använda CNN eller RNN för att fånga mening-nivå eller högre nivå funktioner är oöverkomlig och inte effektiv. För det första, bara ladda en mini-match av 128 långa dokument, säger mer än 10 000 ord, med 300-dimension ord vektor representation skulle kosta flera gigabyte GPU (Grafic Processing Unit) minne. För det andra, för CNN-modellen, skulle ett fullständigt dokument framkalla ett djupare nätverk för att fånga de hierarkiska funktionerna, som i sin tur belastade GPU-minnestrycket. För det tredje är det för RNN-modellen, till skillnad från meningsklassificeringen, omöjligt att mata hela det långa dokumentet till ett enda RNN-nätverk, eftersom det inte ens för långtidsminnet (LSTM) kan memorera ett så enormt sammanhang. Mot bakgrund av ovanstående problem föreslår vi tre modeller för dokumentrepresentation och klassificeringsnätverk för långa dokument. I dessa modeller utnyttjade vi inte all information i varje dokument, utan istället tog vi fram en del av innehållet. Detta hindrar modellen från att vara för stor. I den första modellen, vi först slumpmässigt delprov hela dokumentet, sedan använda ordet vektorer av de extraherade orden som ingång, använda konvolution neurala nätverket för att extrahera funktionerna i dokumenten, och slutligen mata funktionerna till klassificeringen. Den andra modellen förbättrar den första. Efter slumpmässig delprovtagning av fulltext, genom att sortera de provtagna blocken i enlighet med sammanhanget, används ett återkommande neuralt nätverksskikt för att inte bara konkatera de lokala konvolutionella funktionerna, utan också fånga den kontextuella ordningsinformationen för de provtagna blocken. Vår tredje modell är inspirerad av den återkommande uppmärksamhetsmodellen (RAM) [9], där en förstärkande inlärningsmodul introduceras för att fungera som en controller för att välja nästa blockposition smart baserat på det återkommande tillståndet. Tidningen är organiserad enligt följande: i Avsnitt 2, vi granska relevant kunskap om konvolutionella neurala nätverk och återkommande neurala nätverk, och de betydande effekter som har gjorts med hjälp av dessa nätverk. Avsnitt 3 föreslår våra tre tillvägagångssätt för lång dokumentklassificering. En är den grundläggande slumpmässiga provtagningsmetoden, en annan är den beställda lokala funktionen aggregering av RNN, och den tredje modellen lagt till en förstärkning inlärningsmodul som en controller för att välja ord. I Avsnitt 4 utvärderas de tre tillvägagångssätten på vår insamlade fyrklassig arXiv pappersdatauppsättning för långa dokument.
I REF används dataset som samlats in från arXiv-papper för klassificering.
Long Length Document Classification by Local Convolutional Feature Aggregation
{'venue': 'Algorithms', 'journal': 'Algorithms', 'mag_field_of_study': ['Mathematics', 'Computer Science']}