Att jämföra två bilder på ett vy-invariant sätt har varit ett utmanande problem i datorseendet under lång tid, eftersom visuella funktioner inte är stabila under stora vy pekar förändringar. I detta papper, med tanke på en enda ingångsbild av ett objekt, syntetiserar vi nya funktioner för andra vyer av samma objekt. För att åstadkomma detta introducerar vi en anpassad uppsättning 3D-modeller i samma klass som indataobjektbilden. Varje 3D-modell representeras av en uppsättning vyer, och vi studerar korrelationen av bildlappar mellan olika vyer, söker vad vi kallar surrogat -lappar i en vy vars funktion innehåll förutspår väl egenskaperna hos en patch i en annan vy. Särskilt för varje patch i den nya önskade vyn söker vi surrogat från den observerade vyn av den givna bilden. För en given surrogat, förutspår vi att surrogat med linjär kombination av motsvarande patcher i 3D-modellen vyer, lära sig koefficienter, och sedan överföra dessa koefficienter på en per patch basis för att syntetisera egenskaperna hos patchen i den nya vyn. På detta sätt kan vi skapa funktionsuppsättningar för alla vyer av det latenta objektet, vilket ger oss en multi-vy representation av objektet. View-invariant objekt jämförelser uppnås helt enkelt genom att beräkna L 2 avstånd mellan funktionerna i motsvarande vyer. Vi tillhandahåller teoretisk och empirisk analys av funktionssyntesprocessen och utvärderar den föreslagna view-agnostic distance (VAD) i finkornig bildhämtning (100 objektklasser) och klassificeringsuppgifter. Experimentella resultat visar att våra syntetiserade funktioner gör det möjligt att se oberoende jämförelse mellan bilder och prestera betydligt bättre än traditionella bildfunktioner i detta avseende.
Su m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. REF hittar objektdelar liknande dem för ett givet objekt i en stor datauppsättning av 3D-modeller och interpolera mellan de önskade vyerna av dessa.
3D-Assisted Image Feature Synthesis for Novel Views of an Object
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}