Vi introducerar en strategi för att integrera segmenteringsinformation inom ett konvolutionellt neuralt nätverk (CNN). Detta motverkar CNN:s tendens att jämna ut information mellan regioner och öka deras rumsliga precision. För att få information om segmenteringen har vi inrättat ett CNN för att skapa ett inbäddat utrymme där sammedlemskap i regionen kan uppskattas baserat på Euclideans avstånd. Vi använder dessa inbäddningar för att beräkna en lokal uppmärksamhet mask i förhållande till varje neuron position. Vi införlivar sådana masker i CNN:er och ersätter konvolutionsoperationen med en "segmenteringsmedveten" variant som gör det möjligt för en neuron att selektivt ta hand om ingångar som kommer från dess egen region. Vi kallar det resulterande nätverket en segmentering-medveten CNN eftersom det anpassar sina filter vid varje bildpunkt enligt lokala segmenteringssignaler, samtidigt som den förblir helt konvolutionell. Vi demonstrerar förtjänsten av vår metod på två vitt skilda täta förutsägelser uppgifter, som innebär klassificering (semantisk segmentering) och regression (optiskt flöde). Våra resultat visar att vi vid semantisk segmentering kan ersätta DenseCRF-slutsatsen med en kaskad av segmenterings-aware-filter, och i optiskt flöde får vi tydligt skarpare svar än de som erhålls med jämförbara nätverk som inte använder segmentering. I båda fallen ger segmenteringsmedveten konvolution systematiska förbättringar jämfört med starka baslinjer.
Såsom påpekats av Ref, kan tillgången till segmenteringsinformation äventyra de alltför dämpande effekterna av CNN i olika regioner och öka deras rumsliga precision.
Segmentation-Aware Convolutional Networks Using Local Attention Masks
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}