Flermärkt bildklassificering är en grundläggande men utmanande uppgift mot allmän visuell förståelse. Befintliga metoder fann regionnivå coutes (t.ex., funktioner från RoIs) kan underlätta multimärkning klassificering. Icke desto mindre kräver sådana metoder vanligtvis mödosamma annoteringar på objektnivå (dvs. objektetiketter och avgränsande rutor) för effektiv inlärning av objektnivåns visuella egenskaper. I detta dokument föreslår vi en ny och effektiv ram för att främja flermärkningsklassificering genom att destillera kunskap från svagt övervakad detektionsuppgift utan att begränsa fältanteckningar. Särskilt, med tanke på annoteringarna på bildnivå, (1) utvecklar vi först en svagt övervakad detekteringsmodell (WSD) och sedan (2) konstruerar en end-to-end multi-label bildklassificeringsram som förstärks av en kunskapsdestillationsmodul som styr klassificeringsmodellen enligt WSD-modellen enligt klassnivåprognoserna för hela bilden och objektnivåns visuella egenskaper för objektet RoIs. WSD-modellen är lärarmodellen och klassifikationsmodellen är studentmodellen. Efter denna korsvisa kunskapsdestillation förbättras klassificeringsmodellens prestanda avsevärt och effektiviteten bibehålls eftersom WSD-modellen på ett säkert sätt kan kasseras i testfasen. Omfattande experiment på två storskaliga dataset (MS-COCO och NUS-WIDE) visar att vårt ramverk uppnår överlägsna prestationer över de toppmoderna metoderna för både prestanda och effektivitet. Figur 1: Illustrationen av flermärkt bildklassificering (MLIC) och svagt övervakad detektion (WSD). Vi visar topp-3 förutsägelser, där korrekta förutsägelser visas i blått och felaktiga förutsägelser i rött. MLIC modellen kan inte förutsäga väl på grund av dålig lokalisering för semantiska fall. Även om detektionsresultaten av WSD kanske inte bevarar objektgränserna väl, tenderar de att lokalisera de semantiska regioner som är informativa för att klassificera målobjektet, så att förutsägelserna fortfarande kan förbättras.
Liu m.fl. REF föreslog att man skulle öka klassificeringen av flera märken genom att destillera kunskap från en svagt övervakad detektionsuppgift.
Multi-Label Image Classification via Knowledge Distillation from Weakly-Supervised Detection
{'venue': "MM '18", 'journal': None, 'mag_field_of_study': ['Computer Science']}