Vi visar att befintliga uppsamplingsoperatörer kan förenas med hjälp av begreppet indexfunktion. Detta begrepp är inspirerat av en observation i avkodningsprocessen för djupbildsmatrisering där indexstyrd opoolning ofta kan återställa gränsdetaljer betydligt bättre än andra uppsamplingsoperatörer såsom bilinjär interpolering. Genom att titta på indexen som en funktion av funktionskartan introducerar vi begreppet "inlärning till index" och presenterar ett nytt indexstyrt encoder-dekoderramverk där index är självlärda adaptivt från data och används för att vägleda poolning och uppsampling operatörer, utan extra utbildning övervakning. Kärnan i detta ramverk är en flexibel nätverksmodul, kallad IndexNet, som dynamiskt genererar index som är konditionerade på funktionskartan. På grund av dess flexibilitet, kan IndexNet användas som en plug-in tillämpas på nästan alla off-the-shelf convolutional nätverk som har kopplat nedsampling och uppsampling stadier. Vi demonstrerar effektiviteten av IndexNet på uppgiften att naturlig bild matting där kvaliteten på inlärda index kan observeras visuellt från förutsagda alfa matts. Resultat på Composition-1k matting dataset visar att vår modell byggd på MobileNetv2 uppvisar minst 16,1% förbättring jämfört med den seminala VGG-16 baserade djupa matting baslinje, med mindre träningsdata och lägre modellkapacitet. Kod och modeller har gjorts tillgängliga på https://tinyurl.com/IndexNetV1. * Motsvarande författare. Figur 1: Alfamatta av olika modeller. Från vänster till höger, Deeplabv3+ [4], RafineNet [30], Deep Matting [49] och Ours. Dubbellinjär uppsampling lyckas inte återställa subtila detaljer, medan avslappning och vår lärda uppsampling operatör kan producera mycket klara matt med bra lokala kontraster.
Lu REF föreslog IndexNet för att lära index för att vägleda pooling och upsampling operatörer.
Indices Matter: Learning to Index for Deep Image Matting
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}