Att införliva flerskaliga funktioner i helt konvolutionella neurala nätverk (FCN) har varit ett viktigt element för att uppnå state-of-the-art prestanda på semantiska bildsegmentering. Ett vanligt sätt att extrahera flerskaliga funktioner är att mata flera storlekssorterade inmatningsbilder till ett delat djupt nätverk och sedan slå samman de resulterande funktionerna för pixelvis klassificering. I detta arbete föreslår vi en uppmärksamhetsmekanism som lär sig att mjukt väga de flerskaliga funktionerna på varje pixel plats. Vi anpassar en toppmodern semantisk bildsegmenteringsmodell, som vi tränar tillsammans med flerskaliga indatabilder och uppmärksamhetsmodellen. Den föreslagna uppmärksamhetsmodellen överträffar inte bara genomsnitt och max-pooling, utan gör det möjligt för oss att diagnostiskt visualisera betydelsen av funktioner på olika positioner och skalor. Dessutom visar vi att det är viktigt att lägga till extra övervakning till produktionen i varje skala för att uppnå utmärkta resultat vid sammanslagning av flerskaliga funktioner. Vi demonstrerar effektiviteten i vår modell med omfattande experiment på tre utmanande datauppsättningar, inklusive PASCAL-Person-Part, PASCAL VOC 2012 och en delmängd MS-COCO 2014.
För den semantiska segmenteringsuppgiften lär sig REF en uppmärksamhetsmekanism för att väga de flerskaliga funktionerna mjukt.
Attention to Scale: Scale-Aware Semantic Image Segmentation
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}