Neurala nätverksmodeller för många NLP-uppgifter har blivit allt mer komplexa under de senaste åren, vilket gör utbildning och utbyggnad svårare. Ett antal av de senaste tidningarna har ifrågasatt behovet av sådana arkitekturer och funnit att väl utförda, enklare modeller är ganska effektiva. Vi visar att detta också är fallet för dokumentklassificering: i en storskalig reproducerbarhetsstudie av flera nya neurala modeller, finner vi att en enkel BiLSTM-arkitektur med lämplig regularisering ger exakthet och F 1 som antingen är konkurrenskraftiga eller överskrider toppmoderna på fyra standardriktvärden. Förvånansvärt nog kan vår enkla modell uppnå dessa resultat utan uppmärksamhetsmekanismer. Medan dessa legaliseringsmetoder, som lånats från språkmodellering, inte är nya, är vi enligt vår kunskap de första som tillämpar dem i detta sammanhang. Vårt arbete ger en plattform med öppen källkod och grunden för framtida arbete inom dokumentklassificering.
REF ifrågasatte nödvändigheten av beräkningstunga neurala nätverk, vilket visar att en enkel men ändå noggrant inställd BiLSTM utan uppmärksamhet uppnår de bästa eller åtminstone konkurrenskraftiga resultaten jämfört med mer komplexa arkitekturer på dokumentklassificeringsuppgiften.
Rethinking Complex Neural Network Architectures for Document Classification
{'venue': 'NAACL-HLT', 'journal': None, 'mag_field_of_study': ['Computer Science']}