Optimering av ett djupt neuralt nätverk är en grundläggande uppgift i datorseende, men direkt träning metoder ofta lider av överpassning. Optimering av lärare och studenter syftar till att ge kompletterande signaler från en modell som utbildats tidigare, men dessa metoder är ofta betydligt långsamma på grund av pipeline av utbildning några generationer i följd, dvs., tid komplexiteten ökar med flera gånger. Detta papper presenterar ögonblicksbildsdestillering (SD), det första ramverket som möjliggör lärar-studentoptimering i en generation. Idén med SD är mycket enkel: i stället för att låna övervakningssignaler från tidigare generationer tar vi fram sådan information från tidigare epoker i samma generation, samtidigt som vi ser till att skillnaden mellan lärare och student är tillräckligt stor för att förhindra undermontering. För att uppnå detta mål genomför vi SD i en politik för cyklisk inlärningshastighet, där den sista ögonblicksbilden av varje cykel används som lärare för alla iterationer i nästa cykel, och lärarsignalen slätas ut för att ge rikare information. I standardbildklassificeringsriktmärken som CIFAR100 och ILSVRC2012 uppnår SD konsekvent noggrannhetsvinst utan tunga beräkningsmässiga omkostnader. Vi verifierar också att modeller som är förtränade med SD överförs väl till objektdetektering och semantisk segmentering i PascalVOC-datasetet.
För att minska tids komplexiteten ökar genom att utbilda tid, Yang et al. REF presenterar ögonblicksbildsdestillering, vilket möjliggör optimering av lärare och studenter i en generation.
Snapshot Distillation: Teacher-Student Optimization in One Generation
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}