: Vi bäddade tillsammans in former och bilder av tre kategorier (stol, flygplan och bil) i ett gemensamt utrymme. Avstånden mellan enheter i det högdimensionella inbäddningsutrymmet återspeglar objektlikheter mellan former och bilder (visualiserade av t-SNE här). Både 3D-modeller och 2D-bilder innehåller en mängd information om vardagsföremål i vår miljö. Det är dock svårt att semantiskt länka samman dessa två medieformer, även när de har identiska eller mycket liknande objekt. Vi föreslår ett gemensamt inbäddat utrymme befolkat av både 3D-former och 2D-bilder av objekt, där avstånden mellan inbäddade enheter återspeglar likheten mellan de underliggande objekten. Detta gemensamma inbäddningsutrymme underlättar jämförelser mellan enheter av båda formerna och möjliggör hämtning mellan olika transportsätt. Vi konstruerar inbäddningen utrymme med 3D form likhet mäter, eftersom 3D former är mer ren och komplett än deras utseende i bilder, vilket leder till mer robust avståndsmått. Vi använder sedan ett Convolutional Neural Network (CNN) för att "rena" bilder genom att stänga av distraherande faktorer. CNN tränas att kartlägga en bild till en punkt i inbäddningsutrymmet, så att den är nära en punkt som tillskrivs en 3D-modell av ett liknande objekt som den som avbildas i bilden. Denna renande förmåga hos CNN uppnås med hjälp av en stor mängd träningsdata som består av bilder syntetiserade från 3D-former. Vår gemensamma inbäddning möjliggör cross-view bild hämtning, bildbaserad form hämtning, samt form-baserad bild hämtning. Vi utvärderar vår metod för dessa hämtningsuppgifter och visar att den konsekvent överträffar toppmoderna metoder, och visar användbarheten av en gemensam inbäddning i ett antal ytterligare applikationer.
Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. REF lär sig en gemensam inbäddning som delas av både 3D-former och 2D-bilder av objekt.
Joint embeddings of shapes and images via CNN image purification
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}