Uppgiften för ett visuellt landmärkesigenkänningssystem är att identifiera fotograferade byggnader eller föremål i frågebilder och att förse användaren med relevant information om dem. Med sin ökande täckning av världens landmärken byggnader och objekt, Internet fotosamlingar används nu som en källa för att bygga sådana system på ett helt automatiskt sätt. Denna process består vanligtvis av tre steg: att samla stora mängder bilder av de objekt de skildrar, att bestämma objektnamn från användartillhandahållna taggar och att bygga ett robust, kompakt och effektivt igenkänningsindex. Fram till detta datum finns det dock föga empirisk information om hur väl nuvarande metoder för dessa steg fungerar i en storskalig öppen gruv- och igenkänningsuppgift. Dessutom finns det föga empirisk information om hur igenkänningsprestandan varierar för olika typer av landmärken och där det fortfarande finns potential för förbättringar. Med detta dokument tänker vi fylla dessa luckor. Med hjälp av en datauppsättning på 500k bilder från Paris analyserar vi varje komponent i profileringsledningen för att svara på följande frågor: Hur många och vilka typer av objekt kan upptäckas automatiskt? Hur kan vi bäst använda de resulterande bildklustren för att känna igen objektet i en fråga? Hur kan objektet på ett effektivt sätt representeras i minnet för igenkänning? Hur tillförlitlig kan semantisk information utvinnas? Och slutligen: Vilka är de begränsande faktorerna i den resulterande pipeline från förfrågan till semantik? Vi utvärderar hur olika val av metoder och parametrar för enskilda rörledningssteg påverkar systemets övergripande prestanda och undersöker deras effekter för olika frågekategorier såsom byggnader, målningar eller skulpturer.
Nyligen, i REF författarna analyserade en fullständig pipeline för visuell landmärke och arkitektonisk detaljigenkänning från Internet fotosamlingar, för att förstå om vissa av byggnaderna är lättare att känna igen med avseende på andra, vilken typ av representation gör att bilderna kan lagras effektivt i minnet, hur tillförlitlig användare förutsatt semantisk information är, och så vidare.
Visual Landmark Recognition from Internet Photo Collections: A Large-Scale Evaluation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}