Både parametriska och icke-parametriska metoder har visat uppmuntrande prestationer i den mänskliga tolkningsuppgiften, nämligen att segmentera en mänsklig bild i flera semantiska regioner (t.ex. hatt, påse, vänster arm, ansikte). I detta arbete strävar vi efter att utveckla en ny lösning med fördelarna med båda metoderna, nämligen övervakning från kommenterade data och flexibiliteten att använda nyligen kommenterade (eventuellt ovanliga) bilder, och presentera en kvasiparametrisk mänsklig tolkningsmodell. Under den klassiska K Nearest Neighbor (KNN)-baserade icke-parametrisk ram, parametrisk Matching Convolutional Neural Network (M-CNN) föreslås för att förutsäga matchning förtroende och förskjutningar av den bäst matchade regionen i testbilden för en viss semantisk region i en KNN-bild. Med tanke på en testbild hämtar vi först sina KNN-bilder från den kommenterade/manuellt jämförda mänskliga bildkorpusen. Därefter matchas varje semantisk region i varje KNN-bild med tillförsikt till testbilden med hjälp av M-CNN, och de matchade regionerna från alla KNN-bilder sammansmältes ytterligare, följt av en superpixel utjämningsprocedur för att få det ultimata mänskliga tolkningsresultatet. M-CNN skiljer sig från den klassiska CNN [12] genom att de skräddarsydda korsbildsmatchningsfiltren introduceras för att karakterisera matchningen mellan testbilden och den semantiska regionen för en KNN-bild. De korsbildsmatchande filtren definieras på olika konvolutionella lager, som var och en syftar till att fånga ett visst urval av förskjutningar. Omfattande utvärderingar över en stor datauppsättning med 7 700 kommenterade mänskliga bilder visar väl den betydande prestandavinsten från den kvasiparametriska modellen över toppmoderna [29, 30], för den mänskliga tolkningsuppgiften.
I REF har parametriska matchande konvolutionella neurala nätverk (M-CNN) och icke-parametriska KNN metoder föreslagits för mänsklig tolkning.
Matching-CNN meets KNN: Quasi-parametric human parsing
{'venue': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}