Denna artikel beskriver en teknik som tillförlitligt kan anpassa godtyckliga 2D-avbildningar av en arkitektonisk plats, inklusive ritningar, målningar och historiska fotografier, med en 3D-modell av platsen. Detta är en oerhört svår uppgift, eftersom utseendet och scenstrukturen i 2D-avbildningarna kan skilja sig mycket från utseendet och geometrin hos 3D-modellen, till exempel på grund av den specifika rendering stil, ritning fel, ålder, belysning, eller byte av säsonger. Dessutom står vi inför ett svårt sökproblem: antalet möjliga anpassningar av målningen till en stor 3D-modell, såsom en partiell rekonstruktion av en stad, är enorm. För att ta itu med dessa frågor utvecklar vi en ny kompakt representation av komplexa 3D-scener. Scenens 3D-modell representeras av en liten uppsättning diskriminerande visuella element som automatiskt lärs av utgivna vyer. Likt objektdetekteringen lär man sig uppsättningen av visuella element, liksom vikten av enskilda egenskaper för varje element, på ett diskriminerande sätt. Vi visar att de inlärda visuella elementen är tillförlitligt matchade i 2D-avbildningar av scenen trots stora variationer i rendering stil (t.ex. akvarell, skiss, historiska fotografi) och strukturella förändringar (t.ex. saknade scendelar, stora ockluders) av scenen. Vi demonstrerar en tillämpning av den föreslagna metoden för automatisk återfotografering för att hitta en ungefärlig syn på historiska målningar och fotografier med avseende på en 3D-modell av platsen. Det föreslagna anpassningsförfarandet valideras genom en studie av mänskliga användare på en ny databas över målningar och skisser som spänner över flera platser. Resultaten visar att vår algoritm producerar betydligt bättre anpassning än flera basala metoder. Tillstånd att göra digitala eller papperskopior av hela eller delar av detta arbete för personligt bruk eller klassrum beviljas utan avgift, förutsatt att kopiorna inte görs eller distribueras för vinst eller kommersiella fördelar och att kopiorna är försedda med detta meddelande och den fullständiga hänvisningen på första sidan. Upphovsrätt till delar av detta verk som ägs av andra än ACM måste hedras. Abstraktering med kredit är tillåten. För att kopiera på annat sätt, eller återpublicera, för att posta på servrar eller för att omfördela till listor, krävs tidigare specifik behörighet och/eller avgift. Begär tillstånd från authoritys@acm.org.
Målningar och historiska fotografier matchas till en 3D-modell för pose uppskattning, medan funktioner lär sig att matcha mellan målningar och renderade bilder REF.
Painting-to-3D model alignment via discriminative visual elements
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}