Vi beskriver en tillämpning av en kodare-dekoder återkommande neurala nätverk med LSTM enheter och uppmärksamhet för att generera rubriker från texten i nyhetsartiklar. Vi finner att modellen är ganska effektiv på att kortfattat parafrasera nyhetsartiklar. Dessutom studerar vi hur det neurala nätverket bestämmer vilka inmatningsord som ska uppmärksammas, och specifikt identifierar vi funktionen hos de olika nervcellerna i en förenklad uppmärksamhetsmekanism. Det är intressant att lägga märke till att vår förenklade uppmärksamhetsmekanism fungerar bättre än den mer komplicerade uppmärksamhetsmekanismen på en rad artiklar. Återkommande neurala nätverk har nyligen visat sig vara mycket effektiva för många transduktionsuppgifter - som omvandlar text från en form till en annan. Exempel på sådana tillämpningar är maskinöversättning [1,2] och taligenkänning [3]. Dessa modeller tränas på stora mängder indata och förväntade utdatasekvenser, och kan sedan generera utdatasekvenser som ges ingångar aldrig tidigare presenteras för modellen under utbildningen. Återkommande neurala nätverk har också tillämpats nyligen för att läsa förståelse [4]. Där tränas modellerna för att komma ihåg fakta eller uttalanden från indatatext. Vårt arbete är nära relaterat till [5] som också använder ett neuralt nätverk för att generera nyhetsrubriker med samma datauppsättning som detta arbete. Den största skillnaden till detta arbete är att de inte använder ett återkommande neuralt nätverk för kodning, istället med hjälp av en enklare uppmärksamhet-baserad modell. Vi använder encoder-dekoder arkitektur beskrivs i [1] och [2], och visas i figur 1. Arkitekturen består av två delar - en kodare och en dekoder - båda av sig själva återkommande neurala nätverk.
REF använde kodare med uppmärksamhetsmetod för att generera nyhetsrubriker.
Generating News Headlines with Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}