Den ickelinjära modellen för autoregressiva exogena (NARX) som förutsäger det aktuella värdet av en tidsserie baserad på dess tidigare värden samt de nuvarande och tidigare värdena för flera körserier (exogena) har studerats i årtionden. Trots att olika NARX-modeller har utvecklats kan få av dem fånga de långsiktiga tidsberoendena på lämpligt sätt och välja den relevanta körserien för att göra förutsägelser. I detta dokument föreslår vi ett tvåstegs uppmärksamhetsbaserat återkommande neurala nätverk (DA-RNN) för att ta itu med dessa två frågor. I det första steget introducerar vi en mekanism för input uppmärksamhet för att adaptivt extrahera relevanta körserier (även kallat indatafunktioner) vid varje tillfälle steg genom att hänvisa till den tidigare kodarens dolda tillstånd. I det andra steget använder vi en mekanism för tidsuppmärksamhet för att välja relevanta kodare dolda tillstånd genom alla tidssteg. Med detta tvåstegsprogram kan vår modell inte bara göra förutsägelser effektivt, utan också lätt tolkas. Omfattande empiriska studier baserade på SML 2010 dataset och NASDAQ 100 Stock dataset visar att DA-RNN kan överträffa state-of-the-art metoder för tidsserie förutsägelse.
Självuppmärksamhetsbaserade modeller för tidsserieprognoser utforskas också i REF.
A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}