....................................... Topp 5 Neural Best-Buddies för två cross-domain bildpar. Med hjälp av djupa funktioner i ett förtränat neuralt nätverk, vår grov-till-fine sparse korrespondens algoritm först finner hög nivå, låg upplösning, semantiskt matchande områden (anges av de stora blå cirklarna), sedan avgränsar sökområdet till mellannivåer (mellangröna cirklar), tills exakt lokalisering på väldefinierade kanter i pixel utrymme (färgas i motsvarande unika färger). Image credits: PASCAL 3D+ dataset (andra högra bilden), DanZoo (andra vänstra och högra bilden). Korrespondens mellan bilder är ett grundläggande problem i datorseendet, med en mängd olika grafikapplikationer. I detta dokument presenteras en ny metod för sparsam gränsöverskridande korrespondens. Vår metod är utformad för par av bilder där de viktigaste objekten av intresse kan tillhöra olika semantiska kategorier och skiljer sig drastiskt i form och utseende, men ändå innehåller semantiskt besläktade eller geometriskt liknande delar. Vår strategi fungerar på hierarkier av djupa funktioner, extraheras från indata bilder av en förtränad CNN. Särskilt, med utgångspunkt från det grövsta lagret i båda hierarkierna, söker vi efter Neural Best Buddies (NBB): par av neuroner som är ömsesidigt närmaste grannar. Den viktigaste idén är då att tränga igenom NBB:er genom hierarkin, samtidigt som man begränsar sökregionerna på varje nivå och behåller endast NBB:er med betydande aktiveringar. Dessutom, för att övervinna skillnader i utseende, varje par sökområden omvandlas till ett gemensamt utseende. Vi utvärderar vår metod via en användarstudie, förutom jämförelser med alternativa korrespondensmetoder. Nyttan av vår metod demonstreras med hjälp av en mängd olika grafikapplikationer, inklusive crossdomain bildjustering, skapande av hybridbilder, automatisk bildmorfering med mera.
Neural Best Buddies (NBB) REF är en mer allmän metod för att hitta en uppsättning glesa korsdomänkorrespondenser som utnyttjar hierarkisk kodning av funktioner genom förtränade CNN.
Neural best-buddies: sparse cross-domain correspondence
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}