Modelldestillation är en effektiv och allmänt använd teknik för att överföra kunskap från en lärare till ett studentnätverk. Den typiska applikationen är att överföra från ett kraftfullt stort nätverk eller ensemble till ett litet nätverk, för att uppfylla de låga minnes- eller snabba exekveringskraven. I detta dokument presenterar vi en djup strategi för ömsesidigt lärande (DML). Olika från enkelriktad överföring mellan en statisk fördefinierad lärare och en student i modelldestillation, med DML, en ensemble av studenter lär sig samarbeta och undervisa varandra under hela utbildningsprocessen. Våra experiment visar att en mängd olika nätverksarkitekturer drar nytta av ömsesidigt lärande och uppnår övertygande resultat när det gäller både kategori- och exempeligenkänningsuppgifter. Förvånansvärt nog visar det sig att inget tidigare kraftfullt lärarnätverk är nödvändigt -ömsesidigt lärande av en samling enkla studentnätverk fungerar, och dessutom överträffar destillation från en mer kraftfull men ändå statisk lärare. Det är kanske inte uppenbart varför den föreslagna inlärningsstrategin över huvud taget bör fungera. Var kommer den ytterligare kunskapen ifrån, när inlärningsprocessen börjar med
REF presenterar en djup strategi för ömsesidigt lärande där en grupp studenter lär sig samarbeta och undervisar varandra under hela utbildningsprocessen.
Deep Mutual Learning
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}