Sammanfattning av denna webbsida: För att självständigt kunna lära sig breda repertoarer av komplexa färdigheter måste robotar kunna lära sig av sina egna självständigt insamlade data, utan mänsklig övervakning. En inlärningssignal som alltid är tillgänglig för autonomt insamlade data är förutsägelse. Om en robot kan lära sig att förutsäga framtiden, kan den använda denna prediktiva modell för att vidta åtgärder för att producera önskade resultat, som att flytta ett objekt till en viss plats. I komplexa öppna scenarier är det dock svårt att utforma en representation för förutsägelser. I detta arbete strävar vi istället efter att möjliggöra självövervakad robotinlärning genom direkt video förutsägelse: istället för att försöka designa en bra representation, förutspår vi direkt vad roboten kommer att se härnäst, och sedan använda denna modell för att uppnå önskade mål. En viktig utmaning i video förutsägelse för robotisk manipulation är att hantera komplexa rumsliga arrangemang som ocklusioner. I detta syfte introducerar vi en video förutsägelse modell som kan hålla koll på objekt genom ocklusion genom att införliva temporal hoppa anslutningar. Tillsammans med en ny planeringskriterium och åtgärd utrymme formulering, visar vi att denna modell avsevärt överträffar tidigare arbete med video förutsägelse-baserad kontroll. Våra resultat visar manipulering av föremål som inte setts under träning, hantering av flera föremål, och knuffar föremål runt hinder. Dessa resultat representerar ett betydande framsteg i omfattning och komplexitet av färdigheter som kan utföras helt med självövervakad robotinlärning.
REF införde tidshoppsanslutningar för självövervakad visuell planering för att hålla koll på objekt genom ocklusion.
Self-Supervised Visual Planning with Temporal Skip Connections
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Engineering', 'Computer Science']}