I detta dokument undersöker vi metoden med kunskapsdestillering under inlärningsmiljön med flera arbetsuppgifter. Vi destillerar BERT-modellen raffinerad genom multi-task lärande på sju datauppsättningar av GLUE-riktmärket till en dubbelriktad LSTM med uppmärksamhetsmekanism. Till skillnad från andra BERT-destillationsmetoder som är speciellt utformade för Transformer-baserade arkitekturer, tillhandahåller vi en allmän inlärningsram. Vår strategi är modellagnostisk och kan enkelt tillämpas på olika framtida lärarmodeller. Jämfört med ett starkt, på liknande sätt BiLSTM-baserat tillvägagångssätt uppnår vi bättre kvalitet under samma beräkningsbegränsningar. Jämfört med den nuvarande tekniken når vi jämförbara resultat med mycket snabbare sluthastighet.
Andra försökte destillera uppgiftsspecifik BERT för NLU uppgifter (Jiao et al., 2019), förfinas genom multi-task lärande på GLUE riktmärke REF.
Attentive Student Meets Multi-Task Teacher: Improved Knowledge Distillation for Pretrained Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}