Vilken är den rätta övervakningssignalen för att träna visuella representationer? Nuvarande metoder i datorseende använder kategorietiketter från datauppsättningar som ImageNet för att träna ConvNets. När det gäller biologiska agenser kräver dock inte inlärning av visuell representation semantiska etiketter. I själva verket hävdar vi att biologiska agenser använder aktiv prospektering och fysiska interaktioner med världen för att lära sig visuella representationer till skillnad från nuvarande visionssystem som bara använder passiva observationer (bilder och videor som laddas ner från webben). Till exempel, barn knuffa föremål, peta dem, stoppa dem i munnen och kasta dem för att lära sig representationer. Mot detta mål bygger vi ett av de första systemen på en Baxter-plattform som pressar, petar, tar tag i och aktivt observerar föremål i en bordsmiljö. Den använder fyra olika typer av fysiska interaktioner för att samla in mer än 130K datapunkter, med varje datapunkt som ger backprops till en delad ConvNet arkitektur så att vi kan lära oss visuella representationer. Vi visar kvaliteten på inlärda representationer genom att observera neuronaktiveringer och utföra närmaste hämtning av grannar på denna inlärda representation. Slutligen utvärderar vi vårt lärda ConvNet på olika bildklassificeringsuppgifter och visar förbättringar jämfört med lärande utan externa data.
Till exempel Pinto et al. REF införde en metod för att lära sig användbara visuella representationer genom att skjuta objekt.
The Curious Robot: Learning Visual Representations via Physical Interactions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}