Vi föreslår en självövervakad strategi för lärande representationer av relationer mellan människor och deras miljö, inklusive objektinteraktioner, attribut och kropp pose, helt från omärkta videor inspelade från flera perspektiv (Fig. 2).................................................................. Vi tränar en inbäddning med en trilling förlust som kontrasterar ett par samtidiga ramar från olika synvinklar med temporalt intilliggande och visuellt liknande ramar (Fig. 1).................................................................. Vi kallar denna modell TimeContrastive Networks (TCN). Den kontrasterande signalen uppmuntrar modellen att upptäcka meningsfulla dimensioner och attribut som kan förklara objektens föränderliga tillstånd och världen från visuellt liknande ramar samtidigt som man lär sig invarians till synvinkel, ocklusioner, rörelseoskärpa, belysning, bakgrund. Den experimentella utvärderingen av vår multiviewpoint inbäddning teknik undersöker dess tillämpning på resonemang om objektinteraktioner, liksom mänskliga pose imitation med en riktig robot. Vi visar att vår modell kan korrekt identifiera motsvarande steg i komplexa objektinteraktioner, såsom hällning (Tabell 1), mellan olika videor och med olika instanser. Vi visar också vad som, såvitt vi vet, är de första självövervakade resultaten för end-to-end-imitation av mänskliga rörelser med en riktig robot (tabell 2). Resultaten är bäst visualiserade i videor finns på 1 och hela papper finns på 2. Ouppnåeliga objektinteraktioner Vi jämför vår multi-view TCN-modell med Shuffle & Learn[1]-metoden med exakt samma arkitektur och ändrar bara förlusten och det sista lagret. Båda modellerna initieras med ImageNet klassificeringsvikter, sedan tränas på ett självövervakat sätt med 15 minuters multi-view hällning videor (inga etiketter). Vi testar på 5 minuter av osynlig hällning videos. En off-the-shelf ImageNet pretrained Inception modell används också som en baslinje (ingen utbildning på att hälla data). Slutligen föreslår vi också att man jämför med en enda version av TCN. Vi finner att TCN överträffar alla baslinjer på olika kvantitativa mätvärden (figur 1: Time-Contrastive Networks (TCN): 2 ramar tagna samtidigt från olika synvinklar tränas att kontrastera med en slumpmässig eller hårdnegativ ram från samma temporal område med hjälp av en triplet förlust. att multi-view överträffar single-view modellen. Båda mätvärdena använder närmaste granne till en referensram i inbäddningen av varje metod. Inställningen metrisk mäter hur väl olika sekvenser av samma demonstrationer kan semantiskt anpassas med hjälp av olika inbäddningar. De attribut klassificering metrisk mäter hur väl olika attribut som är användbara för att utföra en häll uppgift modelleras av olika inbäddningar. End-to-end Self-Supervised Pose Imitation Vi tillämpar TCN på problemet med mänskliga pose imitation av en robot. Med ytterligare självövervakningssignal (Fig. 4), Vi kan producera end-to-end imitation utan att använda några etiketter (Fig. 5).................................................................. Modellen kan lära sig en komplex människa till robot kartläggning helt självövervakad och är kvantitativt bättre än en människa-övervakad imitation (tabell 2). Kombinationen av alla signaler (billig och exakt TC och självövervakning, och dyr och bullrig övervakning av människor) fungerar bäst.
REF använder en triplet förlust för att använda samma / inte samma händelser i video för att lära sig visa oberoende inbäddningar av mänskliga handlingar.
Time-Contrastive Networks: Self-Supervised Learning from Multi-view Observation
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)', 'mag_field_of_study': ['Computer Science']}