En central utmaning för en agent att lära sig interagera med världen är att förutsäga hur dess handlingar påverkar objekt i sin omgivning. Många befintliga metoder för att lära sig dynamiken i fysiska interaktioner kräver märkt objektinformation. Men att skala verklig interaktion lärande till en mängd olika scener och objekt, förvärva märkta data blir alltmer opraktiskt. För att lära oss om fysisk objektrörelse utan etiketter, utvecklar vi en action-konditionerad video förutsägelse modell som explicit modellerar pixel rörelse, genom att förutsäga en distribution över pixel rörelse från tidigare ramar. Eftersom vår modell uttryckligen förutsäger rörelse, är det delvis invariant att objekt utseende, vilket gör det möjligt att generalisera till tidigare osynliga objekt. För att utforska video förutsägelser för interaktiva agenter i verkliga världen, introducerar vi också en datauppsättning på 50.000 robotinteraktioner som innebär att driva rörelser, inklusive en testuppsättning med nya objekt. I detta dataset, exakt förutsägelse av videor som är beroende av robotens framtida åtgärder innebär att lära sig en "visuell fantasi" av olika framtider baserat på olika handlingsvägar. Våra experiment visar att vår föreslagna metod inte bara producerar mer exakta video förutsägelser, men också mer exakt förutsäger objekt rörelse, jämfört med tidigare metoder.
Finn och Al. I REF föreslogs en åtgärdsanpassad videoprediktionsmodell för att underlätta oövervakat lärande för fysisk interaktion.
Unsupervised Learning for Physical Interaction through Video Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}