Observationer om det förflutna ger några tips om vad som kommer att hända i framtiden, och detta kan kvantifieras med hjälp av informationsteori. Den "prediktiva information" som definieras på detta sätt har kopplingar till komplexa mått som har föreslagits både i studiet av dynamiska system och i matematisk statistik. Framför allt skiljer sig den prediktiva informationen åt när den observerade dataströmmen gör det möjligt för oss att lära oss en allt mer exakt modell för den dynamik som genererar data, och strukturen på denna skillnad mäter modellens komplexitet. Vi hävdar att olika bidrag till den prediktiva informationen ger det enda mått på komplexitet eller rikedom som är förenligt med vissa rimliga krav. Det finns ett uppenbart intresse av att ha praktiska algoritmer för att förutsäga framtiden, och det finns en motsvarande stor litteratur om problemet med extrapolering av tidsserier [1]. Men förutsägelse är mer (och mindre) än extrapolering-vi kanske kan förutsäga till exempel risken för regn under den kommande veckan även om vi inte kan extrapolera banan av temperaturfluktuationer. I andan av sitt termodynamiska ursprung karakteriserar informationsteorin [2] potentialiteterna och begränsningarna hos alla möjliga förutsägelsealgoritmer samt förenar analysen av extrapolering med det mer allmänna begreppet förutsägbarhet. Specifikt definierar vi en kvantitet den prediktiva informationen-som mäter hur mycket våra observationer från det förflutna kan berätta för oss om framtiden. Den prediktiva informationen kännetecknar den värld vi observerar, och vi ska se att denna karakterisering är nära vår intuition om komplexiteten i den underliggande dynamiken. Föreställ dig att vi observerar en ström av data över perioden från t = −T till t = 0; detta utgör vårt förflutna. För enkelhetens skull, låt framtiden sträcka sig framåt också för en tid T. Låt oss kalla de data vi observerar under det förflutna X förflutna, och de data vi kommer att observera i framtiden X framtiden. Det vanliga problemet är att gissa värdena av X framtid från kunskap om X tidigare, Men detta är för specifik; endast vissa funktioner i dataströmmen är förutsägbara, och även dessa funktioner kan vara förutsägbara endast i statistisk mening. Olika typer av förutsägelser behandlas ofta som olika problem, och när vi bedömer kvaliteten på dessa förutsägelser verkar vi vara tvungna att använda olika mått i de olika fallen. Informationsteorin gör det möjligt för oss att behandla de olika förutsägelserna på samma sätt. Även innan vi tittar på data, vet vi redan att vissa framtider är mer sannolikt än andra, och vi kan sammanfatta denna kunskap genom en "före" sannolikhetsfördelning för framtiden, P (X framtid ). Våra observationer om det förflutna leder oss till en ny, tätare koncentrerad distribution, distributionen av terminer villkorad av tidigare data, P (X framtid X förflutna ). Olika typer av förutsägelser kan ses som olika skivor genom eller medelvärden över denna villkorliga fördelning. Den större koncentrationen av den villkorade fördelningen kan kvantifieras direkt av det faktum att den har en mindre entropi än tidigare distribution, och denna minskning av entropi är Shannons definition av den information som det förflutna ger om framtiden [2]. Vi kan skriva genomsnittet av denna prediktiva information som var och en av termerna i Eq. (2) är en entropi. Om vi har invarians i tid översättningar, då entropi av tidigare data beror endast på varaktigheten av våra observationer, så vi kan skriva − log 2 P (X förflutna ) = S(T ), och med samma argument − log 2 P (X framtid ) = S(T ). Slutligen, entropi av det förflutna och framtiden tillsammans är entropi av observationer på ett fönster av varaktighet 2T, så att − log 2 P (X framtid, X tidigare ) = S(2T ). Genom att sätta ihop dessa ekvationer får vi det grundläggande förhållandet mellan förutsägbarhet och tidsberoendet av entropin, Entropin är en omfattande mängd, så att lim T →∞ S(T )/T = S. På samma sätt som entropin hos en gas med fast densitet är proportionell mot volymen, är entropin i en tidsserie (asymptotiskt) proportionell mot dess varaktighet. Denna entropi är också det minsta antal bitar som krävs för att ge en fullständig beskrivning av tidigare data. Men från Eq. (3) Varje omfattande komponent i entropin avbryter beräkningen av den prediktiva informationen: förutsägbarheten är förknippad med avvikelsen från extensiviteten. Avvecklingen av omfattande komponenter innebär att den prediktiva informationen måste vara subtensiv, lim T →∞ I pred (T )/T = 0. Som ett resultat, av den totala information vi har tagit in av 1
Ett antal nya verk har föreslagit prediktiv information, mängden information som delas mellan det förflutna och framtiden för en slumpmässig variabel, som ett mått på mängden icke-trivial information som erhållits från förkroppsligad interaktion REF.
Predictive Information
{'venue': None, 'journal': None, 'mag_field_of_study': ['Physics', 'Biology']}