Finkorniga bildetiketter är önskvärda för många datorseende applikationer, såsom visuell sökning eller mobil AI-assistent. Dessa tillämpningar bygger på bildklassificeringsmodeller som kan producera hundratusentals (t.ex. 100K) av diversifierade finkorniga bildetiketter på ingångsbilder. Det är dock svårt att utbilda ett nätverk i den här ordförrådsskalan och lider av oacceptabelt stor modellstorlek och långsam träningshastighet, vilket leder till otillfredsställande klassificeringsprestanda. En enkel lösning skulle vara att utbilda separata expertnätverk (specialister), där varje specialist fokuserar på att lära sig en specifik vertikal (t.ex. bilar, fåglar...). Att bygga ut dussintals expertnätverk i ett praktiskt system skulle dock avsevärt öka systemets komplexitet och inference latency och förbruka stora mängder beräkningsresurser. För att möta dessa utmaningar föreslår vi en kunskapskoncentrationsmetod som effektivt överför kunskap från dussintals specialister (flera lärarnätverk) till en enda modell (ett studentnätverk) för att klassificera 100K objektkategorier. Det finns tre viktiga aspekter i vår metod: 1) ett ramverk för kunskapsdestillering med flera lärare; 2) en självgående inlärningsmekanism som gör det möjligt för studenten att lära sig av olika lärare i olika steg; 3) strukturellt sammankopplade skikt för att utöka studentnätverkskapaciteten med begränsade extra parametrar. Vi validerar vår metod för OpenImage och en nyinsamlad datauppsättning, Entity-Foto-Tree (EFT), med 100K-kategorier, och visar att den föreslagna modellen presterar betydligt bättre än den generalistiska grundmodellen.
På senare tid har man i Ref-programmet infört en strategi för kunskapskoncentration mellan lärare och en student.
Knowledge Concentration: Learning 100K Object Classifiers in a Single CNN
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}