Uppmärksamhet-baserade kodare-dekoder neurala nätverk modeller har nyligen visat lovande resultat i maskinöversättning och taligenkänning. I detta arbete föreslår vi en uppmärksamhetsbaserad neural nätverksmodell för gemensam intention detektering och slot fyllning, som båda är avgörande steg för många talförståelse och dialogsystem. Till skillnad från i maskinöversättning och taligenkänning, är justering uttryckligt i slot fyllning. Vi utforskar olika strategier för att införliva denna anpassningsinformation i ramen för kodare-dekoder. Genom att dra lärdom av uppmärksamhetsmekanismen i encoder-dekodermodellen föreslår vi också att man uppmärksammar de anpassningsbaserade RNN-modellerna. Sådan uppmärksamhet ger ytterligare information om intention klassificering och slot etikett förutsägelse. Våra oberoende uppgiftsmodeller uppnår toppmoderna intention detektionsfel och slot fylla F1 poäng på riktmärket ATIS uppgift. Vår gemensamma utbildning modell får ytterligare 0,56% absolut (23,8% relativ) felreduktion vid avsikt upptäckt och 0,23% absolut vinst på slot fyllning över de oberoende uppgiftsmodellerna.
Ref föreslog ett uppmärksamhetsbaserat neuralt nätverk för modellering av de två uppgifterna gemensamt.
Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}