Vi introducerar en ny förlust för att lära sig lokala funktionsdeskriptorer som inspireras av Lowes matchningskriterium för SIFT. Vi visar att den föreslagna förlusten som maximerar avståndet mellan närmaste positiva och närmaste negativa patch i batchen är bättre än komplexa legaliseringsmetoder; det fungerar bra för både grund och djup convolution nätverk arkitekturer. Att tillämpa den nya förlusten på L2Net CNN-arkitekturen resulterar i en kompakt deskriptor – den har samma dimensionalitet som SIFT (128) som visar toppmodern prestanda i bred baslinjestereo, patchverifiering och instanssökningsriktmärken. Det är snabbt, beräkning en deskriptor tar ungefär 1 millisekund på en låg-end GPU. Många datorseende uppgifter är beroende av att hitta lokala korrespondenser, t.ex. Bildsökning [1, 2], panoramasömnad [3], bred baslinjestereo [4], 3D-rekonstruktion [5, 6]. Trots det ökande antalet försök att ersätta komplexa klassiska pipelines med end-to-end-inlärda modeller, t.ex. för bildmatchning [7], kameralokalisering [8], används fortfarande de klassiska detektorerna och deskriptorerna för lokala patchar på grund av deras robusthet, effektivitet och deras täta integration. Dessutom är en omformulering av uppgiften, som löses genom den komplexa rörledningen som en differentierad end-to-end-process, mycket utmanande. Som ett första steg mot end-to-end-lärande har handgjorda deskriptorer som SIFT [9, 10] eller detektorer [9, 11, 12] ersatts med lärda, t.ex., LIFT [13], MatchNet [14] och DeepCompare [15]. Dessa deskriptorer har dock inte blivit populära i praktiska tillämpningar trots goda resultat i patchverifieringsuppgiften. Nya studier har bekräftat att SIFT och dess varianter, DSP-SIFT [17]) avsevärt överträffar inlärda deskriptorer i bildmatchning och småskalig hämtning [18], samt i 3D-rekonstruktion [19]. En av slutsatserna i [19] är att de nuvarande lokala patcherna inte är tillräckligt stora och diversifierade för att göra det möjligt att lära sig en brett tillämplig deskriptor av hög kvalitet. I detta dokument fokuserar vi på deskriptorinlärning och, med hjälp av en ny metod, träna ett konvolutionellt neuralt nätverk (CNN), kallat HardNet. Vi visar dessutom att vår lärda deskriptor avsevärt överträffar både handgjorda och inlärda deskriptorer i verkliga uppgifter som bildsökning och två vymatchning under extrema förhållanden. För utbildningen använder vi standardkorrespondensdata som visar att de tillgängliga dataseten är tillräckliga för att gå längre än den senaste tekniken.
Inspirerad av närmaste granne matchande strategi, Mishchuk et al. föreslog HardNet REF, som utbildades av en ny metriska förlust med samma arkitektur som L2Net, och det uppnådde state-of-the-art prestanda.
Working hard to know your neighbor's margins: Local descriptor learning loss
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}