Recurrent neural network (RNN) har uppnått anmärkningsvärd prestanda i textkategorisering. RNN kan modellera hela sekvensen och fånga långsiktiga beroenden, men det gör inte bra i att extrahera viktiga mönster. I kontrast, convolutional neural network (CNN) är bra på att extrahera lokala och positionsinvarianta funktioner. I detta dokument presenterar vi en ny modell med namnet frånkopplat recidiverande neurala nätverk (DRNN), som innehåller positionsinvarians i RNN. Genom att begränsa informationsflödet i RNN begränsas det dolda tillståndet vid varje tidssteg till att representera ord nära den aktuella positionen. Den föreslagna modellen gör stora förbättringar jämfört med RNN- och CNN-modeller och uppnår bästa prestanda på flera referensdatauppsättningar för textkategorisering.
Wang m.fl. Ref presenterade en DRNN-modell som införlivar positionsinvarians i RNN genom att begränsa informationsflödets avstånd.
Disconnected Recurrent Neural Networks for Text Categorization
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}