Vi inför ett tillvägagångssätt för att dra slutsatsen att stokastiska dynamiska system har en orsaksarkitektur som utvidgar hastighetsförvrängningsteorin till att använda kausal avskärmning-en naturlig inlärningsprincip. Vi studerar två olika fall av orsakssamband: optimal kausalfiltrering och optimal kausaluppskattning. Filtrering motsvarar det ideala fallet där sannolikheten för fördelning av mätsekvenser är känd, vilket ger en principiell metod för att approximera ett systems kausala struktur på önskad representationsnivå. Vi visar att i den gräns där en modell komplexitet begränsning är avslappnad, filtrering finner den exakta orsakssamband arkitekturen i ett stokastiskt dynamiskt system, känd som kausal-state partition. Av detta kan man uppskatta mängden historisk information processen lagrar. Mer allmänt finner kausalfiltrering en graderad modell-komplexitetshierarki av approximationer till kausalarkitekturen. Abrupta förändringar i hierarkin, som en funktion av approximation, fånga distinkta skalor av strukturell organisation. För icke-ideala fall med ändliga data visar vi hur det korrekta antalet underliggande kausala tillstånd kan hittas genom optimal kausaluppskattning. En tidigare härledd modell komplexa kontrollterm gör att vi kan korrigera för effekten av statistiska fluktuationer i sannolikhetsuppskattningar och därmed undvika övermontering. Naturliga system beräknar i sig och producerar information. Denna organisation, som ofta endast är indirekt tillgänglig för en observatör, återspeglas i varierande grad i uppmätta tidsserier. Denna information kan dock användas för att bygga modeller med varierande komplexitet som fångar upp det underliggande systemets orsaksarkitektur och gör det möjligt att uppskatta dess informationsbehandlingskapacitet. Vi utreder två fall. Den första är när en modellbyggare vill hitta en mer kompakt representation än den sanna. Detta inträffar till exempel när man är villig att ådra sig kostnaden för en liten ökning av felet för en stor minskning av modellstorleken. Det andra fallet gäller den empiriska ramen där endast en begränsad mängd data finns tillgänglig. Där vill man undvika att överanstränga en modell till en viss datamängd.
Den ursprungliga IB ger också en deterministisk kodning när du tar gränsen β → ∞ som motsvarar kausal-state partition av historia REF.
Optimal Causal Inference: Estimating Stored Information and Approximating Causal Architecture
{'venue': None, 'journal': 'arXiv: Information Theory', 'mag_field_of_study': ['Medicine', 'Mathematics', 'Computer Science', 'Physics']}