Robust visuell lokalisering under ett brett spektrum av visningsförhållanden är ett grundläggande problem i datorseendet. Att hantera de svåra fallen av detta problem är inte bara mycket utmanande utan också av stor praktisk relevans, t.ex. inom ramen för den livslånga lokaliseringen för förstärkt verklighet eller autonoma robotar. I detta dokument föreslår vi en ny strategi som bygger på en gemensam geometrisk och semantisk förståelse av världen och som gör det möjligt för den att lyckas under förhållanden där tidigare strategier misslyckades. Vår metod utnyttjar en ny generativ modell för deskriptorinlärning, tränad på semantisk scenkomplettering som en hjälpuppgift. De deskriptorer som blir resultatet är robusta för att missa observationer genom kodning av geometrisk och semantisk information på hög nivå. Experiment på flera utmanande storskaliga lokaliseringsdata visar tillförlitlig lokalisering under extrema synvinklar, belysning och geometriska förändringar.
För att uppnå robust visuell lokalisering under ett brett spektrum av visningsförhållanden har semantisk information också utnyttjats i REF.
Semantic Visual Localization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}