Återkommande neurala nätverksmodeller med en uppmärksamhetsmekanism har visat sig vara extremt effektiva på en mängd olika sekvens-to-sekvens problem. Men det faktum att mjuka uppmärksamhetsmekanismer utför en passage över hela indatasekvensen när de producerar varje element i utdatasekvensen utesluter deras användning i online-inställningar och resulterar i en kvadratisk tid komplexitet. Baserat på insikten att anpassningen mellan ingångs- och utgående sekvenselement är monoton i många problem av intresse, föreslår vi en end-to-end differentiable metod för att lära monotona anpassningar som, vid testtid, möjliggör datoruppmärksamhet på nätet och i linjär tid. Vi validerar vår strategi för meningssammanfattning, maskinöversättning, och online taligenkänning problem och uppnå resultat konkurrenskraftiga med befintliga sekvens-to-sekvens modeller.
REF möjliggör linjär tidsuppmärksamhetsberäkning online genom att se till att anpassningen mellan ingångs- och utgående sekvenselement är monoton.
Online and Linear-Time Attention by Enforcing Monotonic Alignments
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}