Kunskapsdestillering beskriver en metod för att utbilda ett studentnätverk för att prestera bättre genom att lära sig av ett starkare lärarnätverk. Att översätta en mening med en Neural Machine Translation (NMT) motor är tid dyrt och att ha en mindre modell påskyndar denna process. Vi visar hur man överför översättningskvaliteten på en ensemble och ett orakel BLEU-lärarnätverk till ett enda NMT-system. Vidare presenterar vi översättningsförbättringar från ett lärarnätverk som har samma arkitektur och dimensioner av studentnätverket. Eftersom utbildningen av studentmodellen fortfarande är dyr, introducerar vi en datafiltreringsmetod baserad på kunskapen om lärarmodellen som inte bara påskyndar utbildningen utan också leder till bättre översättningskvalitet. Våra tekniker behöver ingen kodändring och kan enkelt reproduceras med vilken NMT-arkitektur som helst för att påskynda avkodningsprocessen.
REF utökar kunskapsdestilleringen på en ensemble och orakel BLEU-lärarmodell.
Ensemble Distillation for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}