Hur människor ser i termer av ansiktsattribut (etnicitet, hårfärg, ansiktshår, etc.) och de kläder eller tillbehör som de bär (solglasögon, hatt, huvor etc.) är starkt beroende av geolokalisering respektive väderförhållanden. Detta arbete utforskar, för första gången, användningen av denna kontextuella information, som människor med bärbara kameror går över olika stadsdelar i en stad, för att lära sig en rik funktion representation för ansiktsattribut klassificering, utan den kostsamma manuella annotering som krävs av tidigare metoder. Genom att spåra ansiktena på casual walkers på mer än 40 timmars egocentrisk video, kan vi täcka tiotusentals olika identiteter och automatiskt extrahera nästan 5 miljoner par bilder anslutna av eller från olika ansiktsspår, tillsammans med deras väder och plats sammanhang, under pose och ljusvariationer. Dessa bildpar matas sedan in i ett djupt nätverk som bevarar likheten mellan bilder anslutna av samma spår, för att fånga identitetsrelaterade attribut funktioner, och optimerar för plats och väder förutsägelse för att fånga ytterligare ansiktsattribut funktioner. Slutligen finjusteras nätverket med manuellt kommenterade prover. Vi utför en omfattande experimentell analys av bärbara data och två standardriktvärden baserade på webbbilder (LFWA och CelebA). Vår metod överträffar med stor marginal ett nätverk utbildat från grunden. Dessutom, även utan att använda manuellt kommenterade identitetsmärkningar för förutbildning som i tidigare metoder, vår strategi uppnår resultat som är bättre än den senaste tekniken.
Walk-and-Learn REF använder väder och plats sammanhang som erhållits från egocentriska videodataset för att underlätta attribut förutsägelse.
Walk and Learn: Facial Attribute Representation Learning from Egocentric Video and Contextual Data
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}