Vi presenterar ett nytt platsigenkänningssystem som anpassar den senaste tekniken för objektförslag för att identifiera potentiella landmärken inom en bild. Det föreslagna systemet använder konvolutionella nätverksfunktioner som robusta landmärkesdeskriptorer för att känna igen platser trots allvarliga syn- och tillståndsförändringar, utan att kräva någon miljöspecifik utbildning. De färgade rutorna i bilderna ovan visar ConvNet landmärken som korrekt har matchats mellan två betydligt olika synvinklar av en scen, vilket möjliggör platsigenkänning under dessa utmanande förhållanden. Abstract-Place-erkännandet har länge varit ett ofullständigt löst problem eftersom alla tillvägagångssätt innebär betydande kompromisser. Nuvarande metoder tar upp många men aldrig alla av de kritiska utmaningarna med platsigenkänning -viewpoint-invariance, tillståndsinvarians och minimering av utbildningskrav. Här presenterar vi en strategi som anpassar den senaste tekniken för förslag till objekt för att identifiera potentiella landmärken inom en bild för platsigenkänning. Vi använder den häpnadsväckande kraften i konvolutionella neurala nätverksfunktioner för att identifiera matchande banbrytande förslag mellan bilder för att utföra platsigenkänning över extrema utseende och perspektiv variationer. Vårt system kräver ingen form av utbildning, alla komponenter är generiska nog att användas off-the-shälf. Vi presenterar en rad utmanande experiment i varierande perspektiv och miljöförhållanden. Vi visar överlägsen prestanda jämfört med nuvarande hjärtteknik. Genom att bygga vidare på befintliga och allmänt använda ramar för erkännande ger detta tillvägagångssätt dessutom ett mycket kompatibelt system för platsigenkänning med möjlighet till enkel integrering av andra tekniker såsom objektdetektering och semantisk scentolkning. Visuell platsigenkänningsforskning har dominerats av sofistikerade lokala funktionsbaserade tekniker som SIFT och SURF keypoints, handgjorda globala bilddeskriptorer som GIST och bag-of-words tillvägagångssätt. Men eftersom robotar arbetar under längre tidsperioder i verkliga miljöer har problemet med förändrade miljöförhållanden kommit i förgrunden, där konventionella igenkänningsmetoder misslyckas. För att ta itu med detta problem, ett antal tekniker har antagits -matchande bildsekvenser [27, 29, 33, 28], skapa skugga-invarianta bilder [6, 43, 25, 24], lära sig framträdande bild regioner [26] eller lärande timliga modeller som tillåter förutsägelse av förekommande förändringar [31]. Den senaste forskningen har också visat hur generiska djupinlärning-baserade funktioner som utbildats för objektigenkänning framgångsrikt kan tillämpas inom området platsigenkänning [41, 3]. Alla nuvarande strategier har dock infört minst en betydande prestanda eller användbarhet kompromiss, oavsett om det är en brist på invarians till kamera synpunkt förändringar [27, 28], omfattande miljöspecifika utbildningskrav [26], eller bristen på utseende ändrar robusthet [7]. För att visuell platsigenkänning ska vara verkligt robust måste den samtidigt ta itu med tre kritiska utmaningar: 1) tillståndsinvariant, 2) perspektivinvariant och 3) allmängiltighet (inga miljöspecifika utbildningskrav). I detta dokument presenterar vi ett enhetligt tillvägagångssätt som tar itu med alla dessa tre utmaningar. Vi använder en toppmodern metod för objektförslag för att upptäcka potentiella landmärken i bilderna. Ett konvolutionsnätverk (ConvNet) används sedan för att extrahera allmänna funktioner för vart och ett av dessa banbrytande förslag. Vi visar att ConvNet funktioner är robusta för både utseende och perspektiv förändring; de första två kritiska utmaningar. Vi betonar också att banbrytande förslag kräver ingen utbildning och ConvNet är förskolad på ImageNet, en generisk bilddatabas; den tredje kritiska utmaningen. Genom att utföra experiment på ett antal dataset visar vi att vårt system är utbildningsfritt genom att ingen uppgiftsspecifik eller ens platsspecifik utbildning krävs. Vi betonar också att endast enstaka bilder krävs för matchning och att systemet inte kräver bildsekvenser. Vi demonstrerar det allmänna i vårt system på ett antal befintliga dataset och introducerar nya utmanande platsigenkänningsdataset, samtidigt som vi jämför med de senaste metoderna. De nya bidragen i detta dokument är: 1) Ett platsigenkänningssystem som är robust för syn- och utseendevariation, som inte kräver någon miljöspecifik utbildning, och 2) Införandet av nya utmanande datauppsättningar som uppvisar extrem syn- och utseendevariation. Tidningen går vidare enligt följande. Avsnitt II ger en kort översikt över relaterat arbete. Metoden beskrivs i detalj i avsnitt III följt av en översikt över de fyra försöksgrupperna. Vi presenterar resultaten i avsnitt V innan vi avslutar med en diskussion och beskriver det framtida arbetet. Fokus för forskning på plats erkännande har nyligen gått från att känna igen scener utan betydande utseende förändringar till mer utmanande, men också mer realistiska föränderliga miljöer. Place Recognition: Metoder som tar itu med platsen igenkänning problem spänna från matchande sekvenser av bilder [27, 17, 40, 33, 29], omvandla bilder för att bli invariant mot vanliga scen förändringar såsom skuggor [6, 43, 25, 24, 21], lära sig hur miljöer förändras över tid och förutsäga dessa förändringar i bildutrymme [30, 21, 31], partikelfilterbaserade metoder som bygger upp plats igenkänning hypoteser över tid [23, 39, 22], eller bygga en karta över erfarenheter som täcker olika utseenden av en plats över tid [5]. Att lära sig hur miljöns utseende förändras kräver i allmänhet träningsdata med kända ramkorrespondenser. [17] Bygger en databas över observerade funktioner under en dag och natt. [30, 31] presenterar ett tillvägagångssätt som lär sig systematiska scenförändringar för att förbättra prestandan på ett säsongsbetonat förändringsdataset. [26] lär sig framträdande regioner i bilder av samma plats med olika miljöförhållanden. Utöver begränsningen av krav på utbildningsdata är generaliteten för dessa metoder för närvarande också okänd; dessa metoder har endast visat sig fungera i samma miljö och på samma eller mycket liknande typer av miljöförändringar som de som förekommer i utbildningsdataseten. Även om punktfunktionsbaserade metoder visade sig vara robusta mot synförändringar [7, 8, 38], till författarnas kunskap, har betydande förändringar i både syn- och miljöförhållanden inte tagits upp i litteraturen. Vi visar att robusthet mot variation i båda fallen kan hanteras utan platsspecifik utbildning. Funktionsbaserade metoder: SIFT [20], SURF [1] och ett antal efterföljande funktionsdetektorer har visat sig uppvisa en betydande grad av invarians men endast en begränsad grad av tillståndsinvarians (belysning, atmosfäriska förhållanden, skuggor, säsonger). Perceptuell förändring lika drastisk som den som illustreras i bild. 1 har visat sig vara utmanande för konventionella funktionsdetektorer [27, 44] och medan FAB-MAP [7] är robust med avseende på synförändringar, är det känt att misslyckas i förhållanden med allvarliga förändringar utseende [29, 31, 13]. Dessutom hävdade [11, 34] att FAB-MAP inte generaliserar väl till nya miljöer utan att lära sig ett nytt platsspecifikt ordförråd. [26] visar att patchar och regionbaserade metoder inom en bild kan uppvisa samma robusthet som helbildstekniker samtidigt som viss robusthet bibehålls för att skala variation, och därmed uppnå några av fördelarna med både punkt- och helbildsfunktioner. Det krävdes dock omfattande platsspecifik utbildning. I denna forskning utökar vi fördelarna med regionbaserade metoder för att ta itu med både syn- och miljöförändringar utan krav på platsspecifik utbildning. En gemensamhet mellan alla dessa metoder är att de förlitar sig på en fast uppsättning handgjorda traditionella funktioner eller arbetar på rå pixelnivå. En ny trend när det gäller datorseende, och särskilt när det gäller igenkänning och upptäckt av föremål, är att utnyttja inlärda funktioner med hjälp av djupa konvolutionella nätverk (ConvNets). Det mest framträdande exemplet på denna trend är den årliga ImageNet Large Scale Visual Recognition Challenge där under de senaste två åren många av deltagarna har använt ConvNet funktioner [36]. Flera forskargrupper har visat att ConvNets överträffar klassiska metoder för objektklassificering eller detektering som bygger på handgjorda funktioner [19, 37, 10, 12, 35]. Tillgången till förutbildade nätverksmodeller gör det enkelt att experimentera med sådana metoder för olika uppgifter: programvarupaketen Overfeat [37] och Decaf [10] eller dess efterföljare Caffe [16] tillhandahåller liknande nätverksarkitekturer som var förtränade på ImageNet ILSVRC-datauppsättningen [36]. Nyligen genomförda studier har visat att toppmoderna prestanda på plats kan uppnås med nätverk utbildade med hjälp av generiska data: [41] visade att ConvNet funktioner som representerar hela bilden överträffar nuvarande metoder för att ändra miljöförhållanden. Helbildsdrag lider emellertid av känslighet för en förändring av synsättet. Vi visar att genom att kombinera kraften i ConvNets och regionbaserade funktioner snarare än att använda helbildsrepresentationer, kan en stor grad av robusthet mot synförändringar uppnås. Följaktligen bygger vi i denna forskning på de bäst presterande aspekterna av state of the art; erkännande prestanda ConvNet tillvägagångssätt [41], och robustheten i regionbaserade metoder för att se förändring [26]. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. FÖRSLAG TILL SYSTEM I detta avsnitt beskriver vi de fem nyckelkomponenterna i vårt föreslagna platsigenkänningssystem: 1) banbrytande förslagsextraktion från den aktuella bilden 2) beräkning av en ConvNet-funktion för varje förslag 3) projektion av funktionerna i ett lägre dimensionsutrymme 4) beräkning av en matchningspoäng för varje tidigare sedd bild 5) beräkning av den bästa matchningen Bild. 2 illustrerar vårt system. Tillvägagångssättet har flera egenskaper som skiljer det från tidigare arbete: • Systemet kräver ingen uppgiftsspecifik eller platsspecifik utbildning. Den använder en off-the-shälf förtränad con-
I REF kombinerade de en objektförslagsteknik med CNN-funktioner för att matcha platser över extrema utseendeförändringar.
Place Recognition with ConvNet Landmarks: Viewpoint-Robust, Condition-Robust, Training-Free
{'venue': 'Robotics: Science and Systems', 'journal': None, 'mag_field_of_study': ['Engineering', 'Computer Science']}