Neural maskinöversättning (NMT) erbjuder en ny alternativ formulering av översättning som är potentiellt enklare än statistiska metoder. För att uppnå konkurrenskraftiga resultat måste dock NMT-modellerna vara mycket stora. I detta dokument överväger vi att tillämpa kunskap destillation metoder (Bucila et al., 2006; Hinton et al., 2015) som har visat sig framgångsrik för att minska storleken på neurala modeller inom andra områden till problemet med NMT. Vi visar att vanlig kunskapsdestillering som tillämpas på förutsägelse på ordnivå kan vara effektiv för NMT, och även införa två nya sekvensbaserade versioner av kunskapsdestillering som ytterligare förbättrar prestandan, och något överraskande, verkar eliminera behovet av strålsökning (även när den tillämpas på den ursprungliga lärarmodellen). Vår bästa studentmodell går 10 gånger snabbare än sin toppmoderna lärare med bara en minskning på 0,2 BLEU. Det är också betydligt bättre än en baslinjemodell som utbildats utan kunskap destillering: genom 4.2/1.7 BLEU med girig avkodning/beam search.
Kunskap destillation tillämpas också effektivt på ordnivå förutsägelse för neural maskin översättning REF.
Sequence-Level Knowledge Distillation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}