Gemensamma visuella igenkänningsuppgifter som klassificering, objektdetektering och semantisk segmentering når snabbt mognad, och med tanke på den senaste tidens framsteg är det inte orimligt att anta att tekniker för många av dessa problem kommer att närma sig mänskliga prestandanivåer under de närmaste åren. I denna artikel ser vi framåt: vilken är nästa gräns i visuellt erkännande? Vi erbjuder ett möjligt svar på denna fråga. Vi föreslår en detaljerad bild annotation som fångar information bortom de synliga pixlarna och kräver komplexa resonemang om full scenstruktur. Specifikt skapar vi en intermodal segmentering av varje bild: den fulla omfattningen av varje region är markerad, inte bara de synliga pixlarna. Annoterare beskriver och namnger alla framträdande regioner i bilden och anger en partiell djupordning. Resultatet är en rik scenstruktur, inklusive synliga och ockluded delar av varje region, figur-markkant information, semantiska etiketter, och objekt överlappning. Vi skapar två dataset för semantisk amodal segmentering. Först märker vi 500 bilder i BSDS datasetet med flera annoterare per bild, så att vi kan studera statistiken över mänskliga annoteringar. Vi visar att den föreslagna fullständiga scenen annotering är förvånansvärt konsekvent mellan annoterare, inklusive för regioner och kanter. För det andra antecknar vi 5000 bilder från COCO. Denna större datauppsättning gör det möjligt för oss att utforska ett antal algoritmiska idéer för amodal segmentering och djupbeställning. Vi introducerar nya mätvärden för dessa uppgifter och tillsammans med våra starka baslinjer definierar vi konkreta nya utmaningar för samhället.
I REF-objekt annoteras ettmodalt: den fulla omfattningen av varje region är markerad, inte bara det synliga.
Semantic Amodal Segmentation
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}