Under de senaste åren har djupa generativa modeller visat sig "tänka" övertygande högdimensionella observationer som bilder, ljud och till och med video, lära sig direkt från rådata. I detta arbete, frågar vi hur man kan föreställa sig målriktade visuella planer - en rimlig sekvens av observationer som övergång ett dynamiskt system från sin nuvarande konfiguration till ett önskat mål tillstånd, som senare kan användas som en referensbana för kontroll. Vi fokuserar på system med högdimensionella observationer, såsom bilder, och föreslår ett tillvägagångssätt som naturligt kombinerar representationsinlärning och planering. Vårt ramverk lär sig en generativ modell av sekventiella observationer, där generativ process induceras av en övergång i en lågdimensionell planeringsmodell, och ytterligare buller. Genom att maximera den ömsesidiga informationen mellan de skapade observationerna och övergången i planeringsmodellen får vi en lågdimensionell representation som bäst förklarar datans orsak. Vi strukturerar planeringsmodellen för att vara kompatibel med effektiva planeringsalgoritmer, och vi föreslår flera sådana modeller baserade på antingen diskreta eller kontinuerliga tillstånd. Slutligen, för att generera en visuell plan, projicerar vi aktuella och mål observationer på sina respektive tillstånd i planeringsmodellen, planera en bana, och sedan använda den generativa modellen för att omvandla banan till en sekvens av observationer. Vi demonstrerar vår metod för att föreställa oss rimliga visuella planer för repmanipulering.
Till exempel lär sig Causal Infogan REF en latent binär representation som kan användas tillsammans med grafplaneringsalgoritm.
Learning Plannable Representations with Causal InfoGAN
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}