Prediktiva tillståndsrepresentationer erbjuder ett uttryckligt ramverk för modellering av delvis observerbara system. Genom att kompakt representera system som funktioner av observerbara storheter undviker PSR-inlärning att använda lokal-minima benägen förväntanmaximering och använder istället en globalt optimal momentbaserad algoritm. Eftersom PSR inte kräver en förutbestämd latent tillståndsstruktur som ingång, erbjuder de dessutom ett attraktivt ramverk för modellbaserad förstärkningsutbildning när agenter måste planera utan att först ha tillgång till en systemmodell. Tyvärr kommer uttryckligheten hos PSR:er med betydande beräkningskostnader, och denna kostnad är en viktig faktor som hämmar användningen av PSR:er i tillämpningar. För att lindra denna brist introducerar vi begreppet komprimerade PSR (CPSR). CPSR inlärningsmetod kombinerar senaste framsteg i dimensionalitetsreduktion, inkrementell matris sönderdelning, och komprimerad avkänning. Vi visar hur detta tillvägagångssätt ger en principiell väg för att lära sig exakta approximationer av PSRs, drastiskt minska de beräkningskostnader i samband med lärande och samtidigt ge effektiv legalisering. Vidare föreslår vi en planeringsram som utnyttjar dessa lärda modeller. Och vi visar att detta tillvägagångssätt underlättar modellinlärning och planering inom stora komplexa delvis observerbara områden, en uppgift som är ogenomförbar utan den principiella användningen av kompression.
Nyligen införde Ref komprimerad PSR (CPSR) metod för att minska beräkningskostnaden i PSR genom att utnyttja fördelarna i dimensionalitetsreduktion, inkrementell matris sönderdelning och komprimerad avkänning.
Efficient Learning and Planning with Compressed Predictive States
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}