Vi presenterar ett djupt neuralt nätverk för en modellfri förutsägelse av ett kaotiskt dynamiskt system från bullriga observationer. Den föreslagna modellen för djupinlärning syftar till att förutsäga den villkorliga sannolikhetsfördelningen för en statsvariabel. Long Short-Term Memory Network (LSTM) används för att modellera den ickelinjära dynamiken och ett softmax-skikt används för att uppskatta en sannolikhetsfördelning. LSTM-modellen tränas genom att minimera en regulariserad korsentropifunktion. LSTM-modellen är validerad mot delay-time kaotiska dynamiska system, Mackey-Glass och Ikeda ekvationer. Det visas att den nuvarande LSTM gör en bra förutsägelse om den ickelinjära dynamiken genom att effektivt filtrera bort bullret. Det har konstaterats att prognososäkerheten för en flerstegsprognos av LSTM-modellen inte är en monoton funktion av tiden; den förutsagda standardavvikelsen kan öka eller minska dynamiskt i tiden. Datadriven rekonstruktion av ett dynamiskt system har varit av stort intresse på grund av dess direkta relevans för många tillämpningar inom fysik, biologi och teknik. Det har gjorts betydande framsteg när det gäller datadriven modellering av ett icke-linjärt dynamiskt system när observationen är bullerfri eller en förhandsinformation om systemet finns tillgänglig [1] [2] [3] [4]. Det finns dock bara ett mycket begränsat antal metoder för ett kaotiskt, icke-linjärt dynamiskt system, när data skadas av ett buller och det underliggande systemet är helt okänt [5]. Här använder vi en djuplärande modell för datadrivna simuleringar av bullriga ickelinjära dynamiska system. På senare tid har djupinlärning rönt stor uppmärksamhet på grund av dess starka förmåga att upptäcka komplexa strukturer i data [6]. Även om djupinlärning har visat sig överträffa de konventionella statistiska metoderna för datautvinningsproblem, t.ex. taligenkänning, bildklassificering/identifiering, finns det bara ett litet antal studier om beteendet hos djupinlärning för komplexa dynamiska system [7, 8]. Med tanke på dess styrka i att lära sig ett icke-linjärt grenrör av data och de-noising förmåga [9], djupt lärande har en potential att ge ett effektivt verktyg för datadriven rekonstruktion av bullriga dynamiska system. I denna studie anser vi följande dynamiska system för fördröjningstid, där f (·, ·) är en icke-linjär funktion och τ är en tidsfördröjningsparameter. Vidare antar vi att det underliggande dynamiska systemet, eller den grundläggande sanningen, inte är observerbart. Vi observerar bara en diskret, bullriga tidsserie, i vilken är en vit Gaussian buller,  på N (0, σ 2 ). Provtagningsintervallet för tidsserierna betecknas med δt, dvs. y t+1 = y(t + δt) +. Det är tydligt att t är en slumpmässig variabel; y t  till N (y(t), σ 2 ). Här är vi intresserade av prognosen för sannolikhetsfördelningen för att vara beroende av de bullriga observationerna, d.v.s. p(t+n) Y 0:t ) för n ≥ 1, där Y 0:t = ( till 0, · · ·, och t ) är den bullriga observationen fram till den nuvarande tiden, t. För att modellera det dynamiska systemet använder vi nätverket Long Short-Term Memory (LSTM), som kan memorera en lång tidsfördröjningsstruktur i data [10, 11]. Följande LSTM-arkitektur beaktas. • Inmatningsnätverk: • LSTM-systemfunktioner: • LSTM interntillstånd: • Utmatningsnätverk: Här är N c dimensionen av LSTM och N o är längden på utmatningsvektorn. en element-wise funktion av den hyperboliska tangenten, Sigmoid, och softplus funktioner [12], respektive, och en b betecknar en element-wise multiplikation. W a,b är en linjär transformationsoperatör; W a,b (x) = W x + c, där W  till R a×b är en viktmatris och c  till R a är en snedvektor. Det sista lagret av den föreslagna LSTM är softmax-funktionen, som definieras som, för i = 1, · · ·, N o.
REF använde långtidsminnesmodell (LSTM) för kaotisk tidsserieprognoser.
Model-free prediction of noisy chaotic time series by deep learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Physics']}