Flermärkt bildklassificering är en grundläggande men utmanande uppgift i datorseendet. Stora framsteg har gjorts genom att utnyttja semantiska förbindelser mellan etiketter under de senaste åren. De konventionella metoderna kan dock inte modellera de underliggande rumsliga sambanden mellan etiketter i flermärkta bilder, eftersom det i allmänhet inte finns några rumsliga kommentarer på etiketterna. I detta dokument föreslår vi ett enhetligt djupt neuralt nätverk som utnyttjar både semantiska och rumsliga relationer mellan etiketter med endast övervakning på bildnivå. Med tanke på en multi-etikett bild, vårt föreslagna rumsliga Regularization Network (SRN) genererar uppmärksamhet kartor för alla etiketter och fångar de underliggande förbindelserna mellan dem via lärbara konvolutioner. Genom att aggregera de regulariserade klassificeringsresultaten med originalresultat från ett ResNet-101-nätverk kan klassificeringsprestandan konsekvent förbättras. Hela det djupa neurala nätverket tränas end-to-end med endast bild-nivå annoteringar, vilket kräver inga ytterligare insatser på bild annoteringar. Omfattande utvärderingar av 3 offentliga datauppsättningar med olika typer av etiketter visar att vårt tillvägagångssätt avsevärt överträffar state-of-the-arts och har stark generaliseringsförmåga. Analys av den lärda SRN-modellen visar att den effektivt kan fånga både semantiska och rumsliga relationer mellan etiketter för att förbättra klassificeringsprestandan.
Analogt föreslår REF det rumsliga legaliseringsnätverket för att generera märkningsrelaterade uppmärksamhetskartor och fånga de latenta sambanden genom uppmärksamhetskartor implicit.
Learning Spatial Regularization with Image-Level Supervisions for Multi-label Image Classification
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}