I detta dokument föreslås en word-level djup konvolutional neural network (CNN) arkitektur för text kategorisering som effektivt kan representera långa associationer i text. I litteraturen har flera djupa och komplexa neurala nätverk föreslagits för denna uppgift, förutsatt att det finns relativt stora mängder träningsdata. Den tillhörande beräkningskomplexiteten ökar dock i takt med att nätverken fördjupas, vilket innebär stora utmaningar för de praktiska tillämpningarna. Dessutom visade det sig nyligen att grunda CNN på ordnivå är mer exakta och mycket snabbare än de senaste mycket djupa näten, såsom CNN på teckennivå, även när det gäller att fastställa stora träningsdata. Motiverade av dessa resultat, studerade vi noggrant fördjupning av ordnivå CNN för att fånga globala representationer av text, och fann en enkel nätverksarkitektur med vilken den bästa noggrannheten kan uppnås genom att öka nätverkets djup utan att öka beräkningskostnaden med mycket. Vi kallar det djup pyramid CNN. Den föreslagna modellen med 15 viktskikt överträffar de tidigare bästa modellerna på sex referensdatauppsättningar för känsloklassificering och ämneskategorisering.
Mer nyligen föreslog Johnson och Zhang REF djup pyramid CNN arkitektur för textklassificering, som kan få den bästa noggrannheten genom att öka djupet i nätverket utan att öka för mycket beräkningskostnader.
Deep Pyramid Convolutional Neural Networks for Text Categorization
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}