Förskolade språkmodeller som BERT har visat sig vara mycket effektiva när det gäller behandling av naturligt språk (NLP). Den stora efterfrågan på datorresurser vid utbildning av sådana modeller hindrar dock att de tillämpas i praktiken. För att lindra denna resurshunger i storskalig modellutbildning föreslår vi en Patient Knowledge Destillation metod för att komprimera en ursprunglig stor modell (lärare) till en lika effektiv lätt grund nätverk (student). Olika från tidigare kunskap destillationsmetoder, som endast använder utdata från det sista lagret av lärarnätverket för destillation, lär sig vår studentmodell tålmodigt från flera mellanliggande skikt av lärarmodellen för inkrementell kunskapsextraktion, enligt två strategier: (i) PKD-Sista: lärande från de sista k-lagren; och (ii) PKD-elev: lärande från varje k-lager. Dessa två patientdestilleringsprogram gör det möjligt att utnyttja rik information i lärarens dolda lager, och uppmuntrar studentmodellen att tålmodigt lära av och efterlikna läraren genom en flerskiktsdestilleringsprocess. Empiriskt, Detta leder till förbättrade resultat på flera NLP uppgifter med betydande vinst i utbildning effektivitet, utan att offra modellen noggrannhet.
PKD-BERT REF antar en inkrementell extraktionsprocess som lär sig generaliseringar från mellanliggande skikt av lärarmodellen.
Patient Knowledge Distillation for BERT Model Compression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}