Knowledge destillation är effektiv för att utbilda små och generaliserbara nätverksmodeller för att möta de låga minnes- och snabba kraven. Befintliga offline-destillationsmetoder bygger på en stark förskolad lärare, som gör det möjligt att upptäcka och överföra kunskap, men kräver ett komplext tvåfas-utbildningsförfarande. Motsvararna på nätet tar itu med denna begränsning till priset av att det saknas en lärare med hög kapacitet. I detta arbete presenterar vi en on-the-fly Native Ensemble (ONE) inlärningsstrategi för en stege online destillation. I synnerhet har EN endast ett enda multi-branch-nätverk och samtidigt etablerar en stark lärare i farten för att förbättra inlärningen av målnätverk. Omfattande utvärderingar visar att ONE förbättrar generaliseringen prestanda en mängd djupa neurala nätverk mer betydande än alternativa metoder på fyra bildklassificeringsdataset: CIFAR10, CIFAR100, SVHN och ImageNet, samtidigt som de har de beräkningsmässiga effektivitetsfördelarna.
Annorlunda jämfört med tidigare studier i utbildning av separata lärarmodeller i förväg, Lan et al. I REF föreslogs en enstegs-ram för destillation online genom användning av multi-branch nätverk ensemble för att förbättra målnätverket.
Knowledge Distillation by On-the-Fly Native Ensemble
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}